TStringList.LoadFromFile — Исключения с большими текстовыми файлами

Когда Delphi перешла на Unicode в Delphi 2009, метод TStrings.LoadFromStream() (который TStrings.LoadFromFile() вызывает внутри) стал очень неэффективным для больших потоков/файлов.

Внутренне LoadFromStream() считывает весь файл в память как TBytes, затем преобразует его в UnicodeString с помощью TEncoding.GetString() (который декодирует байты в TCharArray, копирует его в конечный UnicodeString, а затем освобождает массив) , затем анализирует UnicodeString (пока TBytes все еще находится в памяти), добавляя подстроки в список по мере необходимости.

Таким образом, непосредственно перед выходом LoadFromStream() в памяти есть четыре копии файловых данных — три копии занимают в худшем случае filesize * 3 байт памяти (где каждая копия использует свой собственный непрерывный блок памяти + некоторый MemoryMgr накладные расходы) и одну копию для проанализированных подстрок! Конечно, первые три копии освобождаются при фактическом выходе LoadFromStream(). Но это объясняет, почему вы получаете ошибки памяти до достижения этой точки - LoadFromStream() пытается использовать 3-4 ГБ памяти для загрузки файла размером 1 ГБ, и диспетчер памяти RTL не может с этим справиться.

Если вы хотите загрузить содержимое большого файла в TStringList, вам лучше использовать TStreamReader вместо LoadFromFile(). TStreamReader использует буферизованный файловый ввод-вывод для чтения файла небольшими порциями. Просто вызовите его метод ReadLine() в цикле, Add() переводя каждую строку в TStringList. Например:

//MyStringList.LoadFromFile(filename);
Reader := TStreamReader.Create(filename, true);
try
  MyStringList.BeginUpdate;
  try
    MyStringList.Clear;
    while not Reader.EndOfStream do
      MyStringList.Add(Reader.ReadLine);
  finally
    MyStringList.EndUpdate;
  end;
finally
  Reader.Free;
end;

Возможно, когда-нибудь LoadFromStream() можно будет переписать, чтобы использовать TStreamReader внутри, как это.