Назад | Перейти на главную страницу

трюки для ускорения работы tar при резервировании огромного каталога маленьких файлов?

Я пытаюсь заархивировать каталог, в котором есть около 3 миллионов крошечных файлов. Тар пыхтит, но я думаю, это займет больше времени, чем я могу ждать.

Мне интересно, если бы указание tar не хранить метаданные (владелец, группа, perms) уменьшило бы отток при чтении и повторном чтении этого огромного каталога и, возможно, ускорило бы процесс, и есть ли переключатель tar, который делает это.

Мое первоначальное прочтение справочной страницы дает мне только что-то вроде --no-xattrs, что выглядит как начало, но я надеялся, что у кого-то есть определенные знания.

Я должен думать, что производительность базовой файловой системы, вероятно, во многом зависит от того, что вы получаете от tar.

Из какой файловой системы вы читаете и насколько маленькие файлы?

Вы можете попробовать добавить mbuffer между вашим tar и вашим выходным файлом. Я только что узнал об этом, и это творило чудеса с моим переводом.

например tar -c dir | mbuffer> output.tar

Может не помочь, если медлительность действительно является результатом ограничений диска или файловой системы.