Как разбить файл mbox на большие куски размером n-МБ с помощью терминала?

Если ваш mbox имеет стандартный формат, каждое сообщение будет начинаться с From и пробела:

From [email protected]

Итак, вы можете COPY YOUR MBOX TO A TEMPORARY DIRECTORY и попробовать использовать awk для его обработки по отдельности, разделяя только в начале любого сообщения. Скажем, мы использовали 1000 сообщений для каждого выходного файла:

awk 'BEGIN{chunk=0} /^From /{msgs++;if(msgs==1000){msgs=0;chunk++}}{print > "chunk_" chunk ".txt"}' mbox

тогда вы получите выходные файлы с именами от chunk_1.txt до chunk_n.txt, каждый из которых содержит до 1000 сообщений.

Если вам не повезло работать в Windows (которая не может понять одинарные кавычки), вам нужно будет сохранить следующее в файле с именем awk.txt

BEGIN{chunk=0} /^From /{msgs++;if(msgs==1000){msgs=0;chunk++}}{print > "chunk_" chunk ".txt"}

а затем введите

awk -f awk.txt mbox

Я только что улучшил сценарий из ответа Марка Сечелла. Как мы видим, этот скрипт может анализировать файл MBOX в зависимости от количества писем на блок. Этот улучшенный сценарий может анализировать файл mbox на основе определенного максимального размера для каждого фрагмента.
Итак, если у вас есть ограничение на размер при загрузке или импорте файла mbox, вы можете попробовать приведенный ниже сценарий, чтобы разделить файл mbox на блоки с указанным размером *.
Сохраните приведенный ниже сценарий в текстовый файл, например mboxsplit.txt в каталоге, содержащем файл mbox (например, с именем mbox):

BEGIN{chunk=0;filesize=0;}
    /^From /{
    if(filesize>=40000000){#file size per chunk in byte
        close("chunk_" chunk ".txt");
        filesize=0;
        chunk++;
    }
  }
  {filesize+=length()}
  {print > ("chunk_" chunk ".txt")}

А затем запустите / введите эту строку в этом каталоге (содержит файлы mboxsplit.txt и mbox):

  awk -f mboxsplit.txt mbox

Обратите внимание:

• Размер результата может быть больше заданного. Это зависит от размера последнего электронного письма, вставленного в буфер / блок перед проверкой размера блока.
• Он не разделит тело письма
• Один блок может содержать только одно электронное письмо, если размер электронного письма больше указанного размера блока.

Я предлагаю вам указать размер блока меньше или меньше максимального размера загрузки / импорта.

formail идеально подходит для этой задачи. Вы можете посмотреть параметры +skip и -total formail

Параметры
...
+ пропустить
Пропустить первые сообщения пропустить при разделении.
-total
Выводить не более всего сообщений при расщеплении.

В зависимости от размера вашего почтового ящика и писем вы можете попробовать

formail -100 -s <google.mbox >import-01.mbox
formail +100 -100 -s <google.mbox >import-02.mbox
formail +200 -100 -s <google.mbox >import-03.mbox

и т.п.

Разумеется, детали не обязательно должны быть одинакового размера. Если есть одно большое электронное письмо, у вас может быть только formail +100 -60 -s <google.mbox >import-02.mbox, а если много маленьких сообщений, может быть formail +100 -500 -s <google.mbox >import-02.mbox.

Чтобы найти начальное количество писем в блоке, попробуйте

formail -100 -s <google.mbox | wc
formail -500 -s <google.mbox | wc
formail -1000 -s <google.mbox | wc

Возможно, вам придется немного поэкспериментировать, чтобы приспособиться к размеру вашего почтового ящика. С другой стороны, поскольку кажется, что это одноразовая задача, возможно, вам не захочется тратить на это слишком много времени.

Моя первоначальная мысль заключалась в том, чтобы использовать другой сценарий (formail) для сохранения каждого письма в виде одного файла и впоследствии запустить сценарий для объединения их в огромные файлы размером 40 МБ, но все же Я бы не знал, как это сделать с помощью терминала.

Если я вас правильно понял, вы хотите разделить файлы на части, а затем объединить их в большой файл перед их импортом. Похоже на то, что должны были делать split и cat. Split разделяет файлы в зависимости от вашего размера, будь то строка или байты. Затем он добавляет к этим файлам суффикс, чтобы они были в порядке. Затем вы используете cat, чтобы собрать файлы вместе:

$ split -b40m -a5 mbox  # this makes mbox.aaaaa, mbox.aaab, etc.

Как только вы получите файлы в другой системе:

$ cat mbox.* > mbox

Вы бы не стали этого делать, если хотите разбить файлы, чтобы сообщения не разделялись между файлами, потому что вы собираетесь импортировать каждый файл в новую почтовую систему по одному.