Производительность фрагментации файлов в C#

Я подозреваю, что это будет немного больно:

chunk.Bytes = fileBytes.Skip(chunk.Offset).Take(512).ToArray();

Попробуйте это вместо этого:

byte buffer = new byte[512];
Buffer.BlockCopy(fileBytes, chunk.Offset, buffer, 0, 512);
chunk.Bytes = buffer;

(Код не проверен)

И причина, по которой этот код, вероятно, будет медленным, заключается в том, что Skip не делает ничего особенного для массивов (хотя мог бы). Это означает, что каждый проход в вашем цикле повторяет первые 512 * n элементов в массиве, что приводит к производительности O (n ^ 2), где вы должны просто видеть O (n).

Попробуйте что-то вроде этого (непроверенный код):

public static List<FileChunk> GetAllForFile(string fileName, FileMode.Open)
{
  var chunks = new List<FileChunk>();
  using (FileStream stream = new FileStream(fileName))
  {
      int i = 0;
      while (stream.Position <= stream.Length)
      {
          var chunk = new FileChunk();
          chunk.Number = (i);
          chunk.Offset = (i * 512);
          Stream.Read(chunk.Bytes, 0, 512);
          chunks.Add(chunk);
          i++;
      }
  }
  return chunks;
}

Приведенный выше код пропускает несколько шагов в вашем процессе, предпочитая читать байты из файла напрямую.

Обратите внимание, что если размер файла не кратен четному числу 512, последний фрагмент будет содержать менее 512 байт.

То же, что и ответ Роберта Харви, но с использованием BinaryReader, поэтому мне не нужно указывать смещение. Если вы используете BinaryWriter на другом конце для повторной сборки файла, вам не понадобится элемент Offset FileChunk.

public static List<FileChunk> GetAllForFile(string fileName) {
    var chunks = new List<FileChunk>();
    using (FileStream stream = new FileStream(fileName)) {
        BinaryReader reader = new BinaryReader(stream);
        int i = 0;
        bool eof = false;
        while (!eof) {
            var chunk = new FileChunk();
            chunk.Number = i;
            chunk.Offset = (i * 512);
            chunk.Bytes = reader.ReadBytes(512);
            chunks.Add(chunk);
            i++;
            if (chunk.Bytes.Length < 512) { eof = true; }
        }
    }
    return chunks;
}

Думали ли вы о том, что вы собираетесь делать, чтобы компенсировать потерю пакетов и повреждение данных?

Поскольку вы упомянули, что загрузка занимает много времени, я бы использовал асинхронное чтение файлов, чтобы ускорить процесс загрузки. Жесткий диск — самый медленный компонент компьютера. Google выполняет асинхронное чтение и запись в Google Chrome, чтобы сократить время загрузки. Мне приходилось делать что-то подобное на C# на предыдущей работе.

Идея заключалась бы в том, чтобы создать несколько асинхронных запросов к разным частям файла. Затем, когда приходит запрос, возьмите массив байтов и создайте свои объекты FileChunk, занимающие 512 байтов за раз. В этом есть несколько преимуществ:

1. Если вы запускаете этот процесс в отдельном потоке, то вся программа не будет ожидать загрузки большого файла, который у вас есть.
2. Вы можете обрабатывать массив байтов, создавая объекты FileChunk, в то время как жесткий диск все еще пытается заполнить запрос на чтение других частей файла.
3. Вы сэкономите место в оперативной памяти, если ограничите количество ожидающих запросов на чтение, которые вы можете иметь. Это позволяет уменьшить количество ошибок страниц на жестком диске и более эффективно использовать ОЗУ и кэш-память ЦП, что еще больше ускоряет обработку.

Вы хотели бы использовать следующие методы в классе FileStream.

[HostProtectionAttribute(SecurityAction.LinkDemand, ExternalThreading = true)]
public virtual IAsyncResult BeginRead(
    byte[] buffer,
    int offset,
    int count,
    AsyncCallback callback,
    Object state
)

public virtual int EndRead(
    IAsyncResult asyncResult
)

Также это то, что вы получите в asyncResult:

// Extract the FileStream (state) out of the IAsyncResult object
FileStream fs = (FileStream) ar.AsyncState;

// Get the result
Int32 bytesRead = fs.EndRead(ar);

Вот некоторые справочные материалы для вас, чтобы прочитать.

Это пример кода для работы с Модели асинхронного файлового ввода-вывода.

Это ссылка на документацию MS для Асинхронный файловый ввод/вывод.