Назад | Перейти на главную страницу

Сколько памяти требуется для отправки дедуплицированного потока ZFS?

В прошлом году я установил для своего работодателя пару серверов, на которых была запущена FreeBSD 10.1 с большим пулом хранилища на каждом сервере. 12 дисков по 2 ТБ в zpool, настроенном как два raidz2 vdev по шесть дисков каждый. Один из этих серверов является резервным и является копией активного.

Мы хотели бы создать резервную копию на каком-либо отдельном хранилище, чтобы защититься от сбоев, не связанных с отказом, таких как ошибка администратора.

Предварительное тестирование показывает, что простого использования резервного сервера реплики для отправки дедуплицированного потока (-D) в какое-либо внешнее хранилище будет достаточно, но я не могу найти никакой информации о том, соответствуют ли требования к памяти для отправки дедуплицированного потока такие же, как и требования для использования дедупликации.

Делает zfs send -D требуются те же требования к памяти для таблицы DDT, что и обычная дедупликация с ZFS?

Вопрос был задан Вот.

И ответ - да, ему нужно больше памяти, потому что он должен отслеживать, какие блоки были отправлены, а какие нет. Объем памяти должен быть пропорционален количеству данных в переданном снимке.

Включение дедупликации в файловой системе не поможет удовлетворить требования к производительности / памяти. Включение контрольных сумм SHA256 немного повысит производительность.

кстати. вопрос в том, вносите ли вы так много изменений в файловую систему, используете ли вы такую ​​медленную связь и хорошо дедуплицируемые данные, так что это будет иметь большое значение для вас, чтобы об этом даже подумать?