Улучшить скорость записи для высокоскоростного копирования файлов?

Вы должны использовать асинхронный ввод-вывод, чтобы получить максимальную производительность. Это открытие файла с помощью FILE_FLAG_OVERLAPPED и использование аргумента LPOVERLAPPED WriteFile. Вы можете или не можете улучшить производительность с FILE_FLAG_NO_BUFFERING. Вам придется проверить, чтобы увидеть.

FILE_FLAG_NO_BUFFERING, как правило, обеспечивает более стабильную скорость и лучшее поведение потоковой передачи, а также позволяет избежать загрязнения дискового кеша данными, которые могут вам больше не понадобиться, но в целом это не обязательно быстрее.

Вы также должны проверить, какой оптимальный размер для каждого блока ввода-вывода. По моему опыту, существует огромная разница в производительности между копированием файла 4 КБ за раз и копированием его 1 МБ за раз.

В моем прошлом тестировании этого (несколько лет назад) я обнаружил, что в размерах блоков менее 64 КБ преобладают накладные расходы, а общая пропускная способность продолжала улучшаться с большими размерами блоков примерно до 512 КБ. Я не удивлюсь, если с сегодняшними дисками вам нужно использовать блоки размером более 1 МБ, чтобы получить максимальную пропускную способность.

Числа, которые вы используете в настоящее время, кажутся разумными, но могут быть не оптимальными. Также я совершенно уверен, что FILE_FLAG_WRITE_THROUGH предотвращает использование кэша на диске и, таким образом, будет стоить вам немалой производительности.

Вы также должны знать, что копирование файлов с помощью CreateFile/WriteFile не приведет к копированию метаданных, таких как временные метки или альтернативные потоки данных в NTFS. С этими вещами вам придется разбираться самостоятельно.

На самом деле замена CopyFile вашим собственным кодом — это довольно много работы.

Приложение:

Вероятно, мне следует упомянуть об этом, когда я пробовал это с программным Raid 0 в WindowsNT 3.0 (около 10 лет назад). Скорость была ОЧЕНЬ чувствительна к выравниванию в памяти буферов. Оказалось, что в то время драйверы SCSI должны были использовать специальный алгоритм выполнения DMA из списка разброса/сбора, когда DMA составлял более 16 физических областей памяти (64Кб). Чтобы получить гарантированную оптимальную производительность, требуются физически непрерывные выделения, которые могут запрашивать только драйверы. По сути, это был обходной путь для ошибки в контроллере DMA популярного в то время чипсета, и вряд ли он все еще будет проблемой.

НО - я бы все же настоятельно рекомендовал вам протестировать ВСЮ мощность двух размеров блоков от 32 КБ до 32 МБ, чтобы увидеть, какой из них быстрее. И вы можете подумать о тестировании, чтобы увидеть, постоянно ли одни буферы работают быстрее, чем другие - это не является чем-то неслыханным.

Некоторое время назад я написал в блоге сообщение об асинхронном файловом вводе-выводе и о том, как часто он оказывается синхронным, если вы не делаете все правильно (http://www.lenholgate.com/blog/2008)./02/когда-асинхронный-файл-пишет-не-асинхронно.html).

Ключевым моментом является то, что даже когда вы используете FILE_FLAG_OVERLAPPED и FILE_FLAG_NO_BUFFERING, вам все равно нужно предварительно расширять файл, чтобы вашим асинхронным записям не нужно было расширять файл по мере их выполнения; по соображениям безопасности расширение файла всегда синхронно. Для предварительного продления необходимо сделать следующее:

• Включите привилегию SE_MANAGE_VOLUME_NAME.
• Откройте файл.
• Найдите желаемую длину файла с помощью SetFilePointerEx().
• Установите конец файла с помощью SetEndOfFile().
• Установите конец допустимых данных в файле SetFileValidData().
• Закройте файл.

Потом...

• Откройте файл для записи.
• Выдать записи

Как быстро вы сможете прочитать исходный файл, если не записываете место назначения?

Исходный файл фрагментирован? Фрагментированное чтение может быть на порядок медленнее непрерывного чтения. Вы можете использовать утилиту contig, чтобы сделать его непрерывным:

http://technet.microsoft.com/en-us/sysinternals/bb897428.aspx

Насколько быстро сеть соединяет две машины?

Вы пробовали просто записывать фиктивные данные, не читая их сначала, как это делает ATTO?

Есть ли у вас одновременно более одного запроса на чтение или запись?

Каков размер полосы вашего массива RAID-5? Запись всей полосы за один раз — это самый быстрый способ записи в RAID-5.

Просто помните, что жесткий диск буферизует данные, поступающие с пластин и направляющиеся на пластины. Большинство дисководов пытаются оптимизировать запросы на чтение, чтобы поддерживать вращение пластин и минимизировать движения головок. Диски пытаются получить как можно больше данных от хоста перед записью на пластины, чтобы хост можно было отключить как можно скорее.

Ваша производительность также зависит от трафика шины ввода-вывода на ПК, а также от трафика между диском и хостом. Есть и другие альтернативные факторы, которые следует учитывать, например, системные задачи и программы, работающие «одновременно». Возможно, вы не сможете добиться точной производительности своего измерительного инструмента. И помните, что эти тайминги имеют фактор ошибки из-за вышеупомянутых накладных расходов.

Если на вашей платформе есть контроллеры прямого доступа к памяти, попробуйте использовать их.

Если скорость записи так важна, почему бы не рассмотреть RAID 0 для вашей аппаратной конфигурации?

• Клиент хочет RAID 5.
• Предпочтительнее RAID 0 из-за лучшей отказоустойчивости.
• Клиент доволен тем, что может предложить RAID 5. Вопрос здесь в том, что бенчмаркинг оборудования с использованием ATTO показывает скорость записи 2,57 ГБ в минуту (запись фрагмента 8 МБ), почему инструмент копирования не может достичь этого? Что-то вроде 2 ГБ в минуту — это то, на что мы смотрим. Пока нам удалось достичь только ~1,5 ГБ в минуту.

Правильный способ сделать это — использовать небуферизованный полностью асинхронный ввод-вывод. Вы захотите выполнить несколько операций ввода-вывода, чтобы сохранить очередь. Это позволяет файловой системе, драйверу и подсистеме Raid-5 более оптимально управлять вводом-выводом.

Вы также можете открыть несколько файлов и выполнить чтение и запись для нескольких файлов.

ПРИМЕЧАНИЕ! Оптимальное количество незавершенных операций ввода-вывода и способ чередования операций чтения и записи будут сильно зависеть от самой подсистемы хранения. Ваша программа должна быть тщательно параметризована, чтобы вы могли ее настроить.

Примечание. Я считаю, что Robocopy улучшили. Вы пробовали? я

Я сделал несколько тестов и получил некоторые результаты. Тесты проводились на сетевой карте 100 Мбит/с и 1 Гбит/с. Исходная машина — сервер Win2K3 (SATA), а целевая машина — сервер Win2k3 (RAID 5).

Я провел 3 теста:

1) Network Reader -> Эта программа просто читает файлы по сети. Цель программы - найти максимальную скорость чтения n/w. Я выполняю НЕБУФЕРНОЕ чтение, используя CreateFile и ReadFile.

2) Disk Writer -> Эта программа измеряет скорость RAID 5 путем записи данных. Небуферизованные записи выполняются с помощью CreateFile и WriteFile.

3) Blitz Copy -> Эта программа является механизмом копирования файлов. Он копирует файлы по сети. Логика этой программы обсуждалась в начальном вопросе. Я использую синхронный ввод-вывод с чтением и записью NO_BUFFERING. Используемые API: CreateFile, ReadFile и WriteFile.

Ниже приведены результаты:

СЕТЕВОЙ ЧИТАТЕЛЬ:-

сетевой адаптер 100 Мбит/с

Потребовалось 148 344 мс, чтобы прочитать 768 МБ с размером фрагмента 8 КБ.

Потребовалось 89359 мс, чтобы прочитать 768 МБ с размером блока 64 КБ

Потребовалось 82 625 мс, чтобы прочитать 768 МБ с размером фрагмента 128 КБ

Потребовалось 79594 мс, чтобы прочитать 768 МБ с размером блока 256 КБ

Потребовалось 78687 мс, чтобы прочитать 768 МБ с размером блока 512 КБ

Потребовалось 79078 мс для чтения 768 МБ с размером фрагмента 1024 КБ

Потребовалось 78594 мс, чтобы прочитать 768 МБ с размером блока 2048 КБ

Потребовалось 78 406 мс для чтения 768 МБ с размером фрагмента 4096 КБ

Потребовалось 78281 мс для чтения 768 МБ с размером фрагмента 8192 КБ

сетевой адаптер 1 Гбит/с

Потребовалось 206 203 мс для чтения 5 120 МБ (5 ГБ) с размером фрагмента 8 КБ

Потребовалось 77860 мс, чтобы прочитать 5120 МБ с размером фрагмента 64 КБ

Потребовалось 74531 мс, чтобы прочитать 5120 МБ с размером блока 128 КБ

Потребовалось 68 656 мс для чтения 5 120 МБ с размером фрагмента 256 КБ

Потребовалось 64922 мс, чтобы прочитать 5120 МБ с размером фрагмента 512 КБ

Потребовалось 66312 мс, чтобы прочитать 5120 МБ с размером фрагмента 1024 КБ

Потребовалось 68 688 мс для чтения 5 120 МБ с размером фрагмента 2048 КБ

Потребовалось 64922 мс для чтения 5120 МБ с размером фрагмента 4096 КБ

Потребовалось 66047 мс, чтобы прочитать 5120 МБ с размером фрагмента 8192 КБ

ЗАПИСЬ НА ДИСК:-

Запись выполняется на RAID 5 с NO_BUFFERING и WRITE_THROUGH

Запись 2048 МБ (2 ГБ) данных с размером фрагмента 4 МБ заняла 68 328 мс.

Запись 2048 МБ данных с размером фрагмента 8 МБ заняла 55 985 мс.

Запись 2048 МБ данных с размером фрагмента 16 МБ заняла 49 569 мс.

Запись 2048 МБ данных с размером фрагмента 32 МБ заняла 47 281 мс.

Запись выполняется на RAID 5 только с NO_BUFFERING

Запись 2048 МБ (2 ГБ) данных с размером фрагмента 4 МБ заняла 57 484 мс.

Запись 2048 МБ данных с размером фрагмента 8 МБ заняла 52 594 мс.

Запись 2048 МБ данных с размером фрагмента 16 МБ заняла 49 125 мс.

Запись 2048 МБ данных с размером фрагмента 32 МБ заняла 46 360 мс.

Производительность записи снижается линейно по мере уменьшения размера фрагмента. А флаг WRITE_THROUGH приводит к снижению производительности

БЛИЦ-КОПИЯ:-

Сетевой адаптер 1 Гбит/с, копирование файлов объемом 60 ГБ с использованием NO_BUFFERING

Время, затраченное на полное копирование: 2236735 мс. То есть 37,2 мин. Скорость ~97 ГБ/пер.

сетевой адаптер 100 Мбит/с, копирование 60 ГБ файлов без буферизации

Время, затраченное на полное копирование: 7337219 мс. То есть 122 мин. Скорость ~30 ГБ/пер.

Я пытался использовать программу 10-FileCopy Джеффри Ритчера, которая использует Async-IO с NO_BUFFERING. Но результаты были плохими. Я предполагаю, что причина может быть в том, что размер фрагмента составляет 256 КБ ... 256 КБ записи на RAID 5 ужасно медленные.

Сравнение с robocopy:

100 Мбит/с NIC: Blitz Copy и robocopy выполняются со скоростью ~30 ГБ в час.

Сетевая карта со скоростью 1 Гбит/с: Blitz Copy работает со скоростью ~97 ГБ в час, а robocopy — с частотой ~50 ГБ в час.