Копирование разреженного файла размером 1 ТБ

Краткий ответ: используйте bsdtar или GNU tar (версия 1.29 или более поздняя) для создания архивов и GNU tar (версия 1.26 или более поздняя) для их извлечения на другом компьютере.

Длинный ответ: для этого необходимо выполнить некоторые требования.

Во-первых, Linux должен иметь ядро ​​не ниже 3.1 (подойдет Ubuntu 12.04 или более поздняя версия), чтобы он поддерживал функциональность SEEK_HOLE.

Затем вам нужна утилита tar, которая может поддерживать этот системный вызов. GNU tar поддерживает его, начиная с версии 1.29 (выпущена 16 мая 2016 г., он должен присутствовать по умолчанию, начиная с Ubuntu 18.04), или bsdtar, начиная с версии 3.0.4 (доступен, начиная с Ubuntu 12.04) — установите его с помощью sudo apt-get install bsdtar.

В то время как bsdtar (который использует libarchive) великолепен, к сожалению, он не очень умен, когда дело доходит до распаковки - он по глупости требует, чтобы на целевом диске было как минимум столько же свободного места, сколько размер файла без смолы, без учета дыр. GNU tar эффективно распаковывает такие разреженные архивы и не проверяет это условие.

Это журнал из Ubuntu 12.10 (ядро Linux 3.5):

$ dd if=/dev/zero of=1tb seek=1T bs=1 count=1
1+0 records in
1+0 records out
1 byte (1 B) copied, 0.000143113 s, 7.0 kB/s

$ time bsdtar cvfz sparse.tar.gz 1tb 
a 1tb

real    0m0.362s
user    0m0.336s
sys 0m0.020s

# Or, use gnu tar if version is later than 1.29:
$ time tar cSvfz sparse-gnutar.tar.gz 1tb
1tb

real    0m0.005s
user    0m0.006s
sys 0m0.000s

$ ls -l
-rw-rw-r-- 1 autouser autouser 1099511627777 Nov  7 01:43 1tb
-rw-rw-r-- 1 autouser autouser           257 Nov  7 01:43 sparse.tar.gz
-rw-rw-r-- 1 autouser autouser           134 Nov  7 01:43 sparse-gnutar.tar.gz
$

Как я уже сказал выше, к сожалению, распаковка с помощью bsdtar не будет работать, если у вас нет 1 ТБ свободного места. Однако любая версия GNU tar отлично справляется с распаковкой таких sparse.tar:

$ rm 1tb 
$ time tar -xvSf sparse.tar.gz 
1tb

real    0m0.031s
user    0m0.016s
sys 0m0.016s
$ ls -l
total 8
-rw-rw-r-- 1 autouser autouser 1099511627777 Nov  7 01:43 1tb
-rw-rw-r-- 1 autouser autouser           257 Nov  7 01:43 sparse.tar.gz

Я понимаю, что этот вопрос очень старый, но вот обновление, которое может быть полезно для других, которые находят свой путь здесь так же, как и я.

К счастью, отличный ответ mvp устарел. Согласно примечаниям к выпуску tar, SEEK_HOLE/SEEK_DATA были добавлены в версии 1.29, выпущенной 2016-05-16. (А поскольку GNU tar v. 1.30 теперь является стандартным в стабильной версии Debian, можно с уверенностью предположить, что версия tar ≥ 1.29 доступна почти везде.)

Таким образом, теперь способ обработки разреженных файлов заключается в том, чтобы заархивировать их с помощью любого установленного в вашей системе tar (GNU или BSD), и то же самое для извлечения.

Кроме того, для разреженных файлов, которые на самом деле содержат некоторые данные, стоит ли использовать сжатие (т. е. данные достаточно сжимаемы, чтобы сэкономить значительное место на диске, а экономия места на диске стоит вероятного значительного времени и ресурсов ЦП, необходимых для его сжатия) :

• tar -cSjf <archive>.tar.bz2 /path/to/sparse/file будет использовать функциональность tar SEEK_HOLE для быстрого и эффективного архивирования разреженного файла, а также использовать bzip2 для сжатия фактических данных.
• tar --use-compress-program=pbzip2 -cSf <archive>.tar.bz2 /path/to/sparse/file, как упоминалось в комментарии marcin, будет делать то же самое, также используя несколько ядер для задачи сжатия.

На моем маленьком домашнем сервере с четырехъядерным процессором Atom использование pbzip2 против bzip2 сократило время примерно на 25 или 30%.

Со сжатием или без него это даст вам архив, который не требует какой-либо специальной обработки разреженных файлов, занимает примерно «реальный» размер исходного разреженного файла (или меньше, если он сжат), и его можно перемещать, не беспокоясь. о несоответствии возможностей разреженных файлов разных утилит. Например: cp автоматически обнаружит разреженные файлы и сделает все правильно, rsync правильно обработает разреженные файлы, если вы используете флаг -S, а scp не имеет опции для разреженных файлов (будет потребляться полоса пропускания, копируя нули для всех дыр, и в результате копия будет неразреженным файлом, размер которого равен «видимому» размеру оригинала); но все они, конечно, прекрасно справятся с tar-архивом — независимо от того, содержит он разреженные файлы или нет — без каких-либо специальных флагов.

Дополнительные примечания

1. При извлечении tar автоматически обнаружит архив, созданный с помощью -S, поэтому указывать его не нужно.
2. Архив, созданный с помощью pbzip2, хранится фрагментами. Это приводит к тому, что архив немного больше, чем при использовании bzip2, но также означает, что извлечение может быть многопоточным, в отличие от архива, созданного с помощью bzip2.
3. pbzip2 и bzip2 будут надежно извлекать архивы друг друга без ошибок и повреждений.

Из связанного вопроса, возможно, rsync будет работать:

rsync --sparse sparse-1 sparse-1-copy

Вы определенно ищете инструмент сжатия, такой как tar, lzma, bzip2, zip или rar. Согласно этому сайту, lzma довольно быстрый, но при этом имеет довольно хорошую степень сжатия:

http://blog.terzza.com/linux-compression-comparison-gzip-vs-bzip2-vs-lzma-vs-zip-vs-compress/

Вы также можете настроить соотношение скорость/качество сжатия, установив уровень сжатия на что-то низкое, немного поэкспериментируйте, чтобы найти уровень, который работает лучше всего.

http://linux.die.net/man/1/unlzma