Назад | Перейти на главную страницу

Настройка набора данных резервного копирования электронной почты в ZFS

У меня есть папка с файлами резервных копий электронной почты (из offlineimap). Одна такая папка содержит 87 КБ файлов, из которых 68 КБ имеют размер от 512 до 1024 байтов. (Эта одна папка довольно типична для остальных.) Полное распределение размеров выглядит следующим образом:

Size bin    % by count  % by space
512         0.08%       0.00%
1024        77.37%      74.58%
2048        1.65%       1.62%
4096        3.92%       4.05%
8192        6.11%       6.78%
16384       3.68%       4.25%
32768       3.07%       3.66%
65536       1.77%       2.15%
131072      0.75%       0.92%
262144      0.36%       0.44%
524288      0.33%       0.41%
1048576     0.30%       0.37%
2097152     0.21%       0.27%
4194304     0.20%       0.25%
8388608     0.11%       0.14%
16777216    0.08%       0.10%

У меня вопрос: какой размер записи лучше всего использовать для этих данных? Я бы подумал, что 1k, но это намного меньше, чем обычные рекомендуемые значения, и меня беспокоят накладные расходы из-за метаданных.

Я прочитал несколько статей, которые касаются этого, но не пришел к каким-либо выводам. Например, одна статья исследует эффективность хранения при использовании записей размером меньше среднего размера файла. Его средний минимальный размер файла составлял 128 КБ, и он обнаружил, что при сжатии эффективность хранения увеличивалась по мере увеличения размера блока с 512 до 128 КБ, но он не тестировал размеры блоков больше, чем его файлы, поэтому полная тенденция не ясна.

Еще одно хорошее чтение было эта ветка Reddit который описывает разницу между размерами записи и блока и касается настройки производительности SSD.

В итоге я сделал то, что сказал @ewwhite, и быстро провел тест. Мой вывод - 128к вполне нормально.

BlockSize   CompRatio   du-s
1           0           50747244
2           1           26001757
4           1           13487472
8           1.04        12690656
16          1.06        9560063
32          1.08        8011524
64          1.09        7872713
128         1.1         7822344
256         1.11        7804225
512         1.14        7799985
1024        1.16        7801688

Я редко меняю размер записи в пулах ZFS. Значение по умолчанию 128 КБ подходит для большинства рабочих нагрузок.

Вы можете легко сравнить это с разными размерами записей ...

Если вас беспокоит производительность хранилища, есть больше возможностей для оптимизации в другом месте. У вас есть подробности об ОС / оборудовании / требованиях?