Как лучше всего настроить новый сервер ZFS с большим объемом хранилища?

Предположим следующую настройку диска (с ZFS):

Controller 1    Drive1    Drive4    Drive7    Drive10
Controller 2    Drive2    Drive5    Drive8    Drive11
Controller 3    Drive3    Drive6    Drive9    Drive12

Настройка VDEV:

vdev1: drive1, drive2, drive3 vdev2: drive4, drive5, drive6 vdev3: drive7, drive8, drive9 vdev4: drive10, drive11, drive12

Что лучше (для надежности): добавить все vdev в один zpool или иметь отдельные zpools (по одному для каждого vdev)? Кроме того, если мы потеряем один vdev, потеряем ли мы весь массив? Нам не нужна вся емкость хранилища в одном месте - с точки зрения хранилища можно найти zpools меньшего размера.

Обновить: Что касается вопроса 3dinfluence о загрузочном пуле, он будет в наборе RAID1. Мне не нравится смешивать ОС и свои многотерабайтные RAID-массивы.

ZFS работает так, что внутри пула есть наборы или группы рейдов. Чтобы увеличить вместимость, вам нужно добавить в пул дополнительные группы на том же уровне рейда. Затем ввод-вывод распределяется по всем группам внутри zpool, у которых есть свободные блоки. Таким образом, zpool с большим количеством небольших наборов дисков работает быстро и высокодоступно.

Поэтому я бы посоветовал вам поместить все диски в один пул либо как группы с 3 дисками raidz, либо как 6 групп зеркал с двумя дисками.

Вариант Райдза

Пул ZFS
- raidz Drive1, Drive2, Drive3
- raidz Drive4, Drive5, Drive6
- raidz Drive7, Drive8, Drive9
- raidz Drive10, Drive11, Drive12

Плюсы

Это позволит вашей установке пережить сбой контроллера.
Это также распределяет ваш ввод-вывод по всем 4 группам в пуле, что еще больше повысит пропускную способность.

Вариант зеркала

Пул ZFS
- зеркало Drive1, Drive2
- зеркало Drive3, Drive4
- зеркало Drive5, Drive6
- зеркало Drive7, Drive8,
- зеркало Drive9, Drive10
- зеркало Drive11, Drive12

Плюсы

Это позволит вашей установке пережить отказ 1 контроллера.
Он также распределяет ваш ввод-вывод по всем 6 группам в пуле, что может быть быстрее.

Минусы

Вы потеряете 50% необработанной емкости дисков.

Я согласен с предложениями 3dinfluence. Однако, ИМХО, даже лучшим решением было бы использовать RAID-Z2 (аналогичный RAID6; т.е. два диска «четности» вместо одного) с двумя пулами, например:

raidz2 # 1: 1,4,2,5,3,6
raidz2 # 2: 7,10,8,11,9,12

Теперь, если один диск выходит из строя, у вас все еще есть остался один "четный" диск (по сравнению с RAID-Z, если бы вы уже потеряли всю информацию о избыточности)! Если вы используете жесткий диск большой емкости, это может быть хорошей идеей, потому что перенастройка ZFS (заполнение заменяющего диска, т. Е. Воссоздание информации о избыточности на новом диске) может занять много времени, и ваши данные все это время находятся под угрозой - если вы используете с RAID-Z. (Отказ одного контроллера не приведет к остановке пула RAID-Z2 - но в этом случае избыточность будет потеряна.)

Еще один важный вопрос: вы также должны подумать о запасные диски - особенно если вы решите использовать RAID-Z, потому что отказ одного диска подвергнет ваши данные риску, пока вы не замените неисправный диск. (Диски предпочитают выходить из строя в пятницу вечером, а это значит, что у вас, возможно, не будет избыточности на все выходные!)

Помня о проблеме с запасным диском, вы можете даже захотеть использовать эту конфигурацию:

raidz2 # 1: 1,4,2,5,3
raidz2 # 2: 7,10,8,6,9
запасные диски: 11,12

Эта конфигурация будет безопаснее с довольно небольшая потеря общей емкости.