it-roy-ru.com

Как получить максимальное сжатие с .tar.gz?

Как я понимаю, использование tar + gzip заключается в том, что tar обычно используется для объединения групп файлов в один файл, а затем gzip используется для сжатия этого файла.

Недавно я узнал, что tar также может сжимать.

Поскольку я не до конца понимаю, как работает сжатие @ это ядро, у меня есть (возможно, нелепые) опасения, что отправка предварительно сжатого .tar в gzip может помешать сжатию gzip, а также его возможному разрешению и тому подобному.

По сути, мой вопрос: какую комбинацию методов args/сжатие я должен использовать для создания абсолютного наименьшего tar.gz, и как для этого выглядит выражение командной строки?

54
Mario Zigliotto

Или вы можете указать tar пользователю максимальное сжатие следующим образом:

export GZIP=-9
tar cvzf file.tar.gz /path/to/directory

Кроме того, чтобы ваши envvars были свободными от помех, вы можете сделать это:

env GZIP=-9 tar cvzf file.tar.gz /path/to/directory
103
Brian Fane

Как вы заявили - "tar может также compress", подразумевает, что - tar не всегда сжимает данные самостоятельно.

Это происходит только при использовании с параметром z. Это тоже не само по себе, но - путем передачи данных через gzip.

Однако вместо этого, как отмечено в ответе this , вы можете передать две команды: tar & gzip так, чтобы вы могли явно указать уровень сжатия для команды gzip для достижения наименьшего выходного размера.

tar cvf -/путь/к/каталогу | gzip -9 -> file.tar.gz

Здесь 9 указывает максимально возможный уровень сжатия.

40
Ujjwal Singh

Обычно ни gzip, ни tar не могут создать «самый маленький tar.gz». Есть много утилит сжатия, которые могут сжимать до формата gz. Я написал сценарий bash " gz99 ", чтобы попробовать gzip, 7z и advdef, чтобы получить самый маленький файл. Чтобы использовать это для создания наименьшего возможного запуска файла:

tar c path/to/data | gz99 file.gz

Утилита advdef от AdvanceCOMP обычно выдает наименьший файл, но также содержит ошибки (утилита gz99 проверяет, что он не повредил файл, прежде чем принять вывод advdef). Чтобы использовать advdef напрямую, создайте файл .tar.gz так, как вам хочется. Затем запустите:

advdef -z -4 file.tar.gz

Это создаст стандартный файл gz, который может быть прочитан gzip и tar как обычно, чуть меньше. Это лучшее из того, что вы можете сделать с форматом gz.

Поскольку вы только недавно узнали, что tar может сжимать файлы, и не сказали, зачем вам нужен самый маленький файл ".tar.gz", вы можете не знать, что есть более эффективные форматы, которые можно использовать с файлами tar, такие как xz. Как правило, переключение на другой формат может дать намного лучшее улучшение сжатия, чем перебор с опциями gzip. Основным недостатком xz является то, что он не так распространен, как gzip, поэтому людям, которым вы отправляете файл, возможно, придется установить новый пакет. Это также имеет тенденцию быть немного медленнее, особенно при сжатии. Если это не имеет значения для вас, и вы действительно хотите самый маленький файл tar, попробуйте:

 tar cv path/to/data | xz -9 > file.tar.xz

Современные версии tar, например в Ubuntu 13.10, автоматически обнаруживают сжатые файлы. Так что даже если вы используете сжатие xz, вы все равно можете распаковать как обычно:

 tar xvf file.tar.xz

Чтобы быстро понять, как сравниваются эти утилиты сжатия, рассмотрим эффект сжатия patch-3.1.1 из ядра Linux:

utility         cpu    format  size(bytes)
gzip -9         0.02s  gz      105,628
advdef -2       0.07s  gz      102,619
7z -mx=9 -tgzip 0.42s  gz      102,297
advdef -3       0.55s  gz      102,290
advdef -4       0.75s  gz      101,956
xz -9           0.03s  xz       91,064
xz -3e          0.15s  xz       90,996

В этом тривиальном примере мы видим, что для получения наименьшего gz нам нужен advdef (хотя 7z -tgzip почти так же хорош и намного менее глючит). Мы также видим, что переключение на xz дает нам гораздо больше места, чем попытка выжать максимум из старого формата gz без сжатия, которое занимает слишком много времени.

14
gmatht
tar c /path/to/data | gzip --best > file.tar.gz

Параметр gzip--best (эквивалентный -9) запрашивает самый высокий уровень сжатия.

6
carlito