Сервер JBOD для ZFS без выделенного загрузочного диска

Я ищу недорогую машину для использования openAttic, который представляет собой просто 64-битную Ubuntu 14.04 с ZFS.

Сервер, на который я смотрю, дает мне 8 отсеков по 3,5 дюйма, где я планирую разместить жесткие диски корпоративного уровня SAS 7.2k, вероятно, 3 или 4 ТБ. Я стремлюсь к полезному пространству от 18 ТБ до 24 ТБ с 2 жесткими дисками для резервирования. Я получу как минимум 32 ГБ ОЗУ с ECC, но я посмотрю на стоимость 64 ГБ.

У меня недостаточно опыта работы с ZFS, но изначально я планировал использовать небольшой загрузочный и системный раздел, зеркально отображаемый на всех дисках, с помощью ext4. Затем используя оставшееся место для ZFS.

На сервере есть слот M.2: стоит ли мне использовать там SSD M.2 в качестве загрузочного / системного диска? OpenATTIC требует очень мало для системного раздела, поэтому приобретение SSD премиум-класса для этого кажется пустой тратой, когда RAM и диски SAS будут выполнять большую часть работы и будут узким местом.

Я читал, что ZFS любит получать прямой доступ к дискам, поэтому мне интересно: может ли ZFS нормально работать, если вы настроите ее так, чтобы не использовать весь диск? Или я должен получить SSD и позволить ZFS забрать все диски SAS?

Если деньги не являются ограничением, я, конечно, приобрету SSD, но я ищу «лучшее соотношение цены и качества». Спасибо!

У вас есть несколько вариантов:

Дешевый USB-накопитель 2.0: не рекомендуется, потому что он медленный, и запись убьет большинство из них довольно быстро, исключение: система только для чтения, такая как SmartOS (для ZFS) или ESXi (без ZFS, просто как пример), которая записывает только на загрузку или один раз в час, а все остальное хранит в ОЗУ или пулах данных.
Более дорогая карта USB 3.0 с памятью SLC или жесткий диск USB 3.0: хотя официально не поддерживается в большинстве систем, она работает довольно хорошо. Я бы посоветовал зеркалировать эти диски, что также позволяет легко выполнять обновление и резервное копирование.
Диск / SSD SATA или M.2: может тратить ценное пространство, дороже, но без проблем. Я бы посоветовал зеркальную пару, если вы можете себе это позволить. Лучшее решение для большинства случаев, когда пространство и деньги не являются самыми важными ограничениями. Лучшим выбором будет полная защита от потери мощности (например, Intel 730 и все версии S3xxx / DC3xxx).
Монтирование NFS / iSCSI: интересно, если у вас есть несколько боксов, в которых не осталось места / портов, и вы хотите иметь централизованное управление / настройку. Загрузитесь через PXE, затем подключите сетевые диски и используйте их. Почти все серверные сетевые адаптеры поддерживают это, но вам нужен отдельный сервер для предоставления услуг.

Мое личное предложение:

Если у вас обычная конфигурация файлового сервера и вы хотите достичь насыщения до 1 Гбит / с: используйте 2 USB-накопителя SLC, такие как модели MX-ES (внешние), или два небольших твердотельных накопителя SATA Intel (внутренние).
Если у вас более крупная установка, вам нужна высокая производительность, быстрая замена вышедших из строя дисков, возможно, у вас есть запросы на виртуализацию или высокое время безотказной работы: используйте обычные корпуса с 2 твердотельными накопителями Intel с защитой от потери мощности.
Если у вас есть / растет большое количество машин и вы хотите сэкономить время / деньги: рассмотрите либо SmartOS (созданную для этого варианта использования), либо используйте сетевую загрузку через PXE.

Я читал, что ZFS любит получать прямой доступ к дискам, поэтому мне интересно: может ли ZFS нормально работать, если вы настроите ее так, чтобы не использовать весь диск? Или я должен получить SSD и позволить ZFS забрать все диски SAS?

это рекомендуемые использовать целые диски для вашего пула:

Для производственных систем используйте для пулов хранения целые диски, а не срезы по следующим причинам:

Позволяет ZFS включить кэш записи для тех дисков, на которых есть кеши записи. Если вы используете массив RAID с энергонезависимым кешем записи, то это меньшая проблема, поскольку vdevs по-прежнему должны пользоваться преимуществами кеша записи массива.

Для подключенного хранилища JBOD с включенным дисковым кешем можно выполнять некоторые синхронные записи в виде нескольких операций записи на диск, за которыми следует одна очистка кэша, что позволяет контроллеру диска оптимизировать планирование ввода-вывода. Отдельно, для систем, в которых отсутствует надлежащая поддержка SATA NCQ или SCSI TCQ, наличие включенного кэша записи позволяет хосту выполнять одну операцию ввода-вывода асинхронно из физического ввода-вывода.

Процесс восстановления после замены отказавшего диска более сложен, если диски содержат на срезах файловые системы ZFS и UFS.

Пулы ZFS (и базовые диски), которые также содержат файловые системы UFS на срезах, не могут быть легко перенесены в другие системы с помощью функций импорта и экспорта zpool.

В общем, поддержание срезов увеличивает время и затраты на администрирование. Снизьте расходы на администрирование за счет упрощения модели конфигурации пула хранения.

Для чего-то такого масштаба используйте отдельный диск или пару дисков для ОС. Пожалуй, самый подходящий слот M.2 SSD.

Дайте ZFS полные диски и не пытайтесь распределить ОС по этим дискам.

Для домашнего масштаба не слушайте все предложения получить ЗИЛ и L2ARC. ZIL полезен только для синхронной записи, а L2ARC переоценен. У вас хорошее количество ОЗУ, и это то, что вам нужно максимизировать.