Мы планируем развернуть хранилище ~ 100 ТБ в наших системах Debian.
Хранилище представляет собой внешний корпус (EonStore D1000: ESDS1024) с 24 дисками по 6 ТБ, которые подключаются к одному хосту через iSCSI по оптоволокну 10 ГБит.
Поскольку хранилище уже достаточно велико и мы, возможно, захотим расширить его в будущем, мы хотели бы использовать ZFS в качестве файловой системы.
Сейчас EonStore D1000, поставляется предварительно настроенной как система RAID6, а также поддерживает аппаратное шифрование (SED). Это мог также быть настроенным как JBOD.
Я читал, что ZFS никогда не следует использовать на аппаратных RAID-массивах, а вместо этого предпочитает прямой доступ к жестким дискам.
Однако я не уверен, верно ли это и для устройств iSCSI (например, сообщает ли iSCSI достаточно информации в ZFS, чтобы исправление ошибок работало по сравнению со встроенным RAID6?)
Кроме того, у нас возникает соблазн использовать SED, что я угадать вообще не будет работать вместе с исправлением ошибок ZFS.
Итак, мой вопрос: должен ли я (все же) избегать RAID6 любой ценой в RAIDZ? как насчет шифрования?
Я читал, что ZFS никогда не следует использовать на аппаратных RAID-массивах, а вместо этого предпочитает прямой доступ к жестким дискам.
В данном случае: ерунда.
Вот в чем суть. Если вы запустите это как ZFS против JBOD, вы увеличите свою и без того плохую полосу пропускания пользовательского интерфейса (10G - это НЕ много). Если вы запустите его как Raid 6, а затем создадите на нем что-то неизбыточное, вы не имеете дело с избыточным сетевым трафиком. Дело закрыто.
Используйте управление корпусом для обработки сбоев корпуса. Используйте КАЖДЫЙ корпус как «диск» (с Raid 6 ниже) и используйте неизбыточное хранилище ZFS (или используйте зеркалирование, если вы действительно хотите сойти с ума, что иногда имеет смысл).
Это действительно снижает производительность, и серьезно, для 24 дисков 10G не совсем достаточно. Вы хотите избежать избыточного сетевого трафика, который происходит, когда вы выполняете программный Raid с удаленными дисками.