Мы уже много лет запускаем ZFS поверх единого аппаратного RAID на dell poweredge. Я знаю, что большинство людей против этого, но моментальный снимок / клон, сжатие и гибкий раздел ZFS нам очень пригодились. Когда диск выходит из строя, направляется технический специалист dell (сервер находится в другом состоянии), он подтверждает, что диск горит желтым светом, и заменяет его.
Теперь мы хотим воспользоваться преимуществами кэширования ZFS L2ARC / ZIL, мы серьезно задумываемся о запуске ZFS на голых дисках. Текущие RAID-контроллеры Dell (PERC H730 / H330) поддерживают сквозную передачу. Мои оставшиеся вопросы:
если диск выходит из строя из ZFS, отображается ли желтый индикатор на передней панели? Это важно, потому что техническому специалисту Dell может потребоваться подтвердить, что привод действительно неисправен. В противном случае у нас могут возникнуть проблемы с dell.
Кто-нибудь запускает ZFS под корнем FreeBSD? Это в качестве продукции? Какие-нибудь известные проблемы?
Вы можете управлять PERC H730 и H330 с помощью утилиты LSI MegaCLI, поскольку обе эти карты являются картами LSI под маркой Dell PERC.
Есть отличная статья и руководство о том, как это сделать на https://calomel.org/megacli_lsi_commands.html
я знаю это zfsonlinux имеет ZFS Event Daemon (ZED), который вы можете использовать, чтобы вызывать определенные события при определенных событиях (например, использовать MegaCLI для включения желтого света для определенного слота, когда диск умирает).
IIRC, FreeBSD имеет ZFSd, который может делать подобные вещи, но я не эксперт по FreeBSD, поэтому не могу указать вам дополнительную информацию, кроме как сказать, что форумы FreeBSD полны полезных советов и полезных людей.
Я подозреваю, что самой сложной частью этого будет определение номера «слота» MegaCLI для данного диска, потому что ZFS знает только об узле / имени устройства и не имеет конкретной информации LSI или PERC. если имя узла устройства напрямую связано с номером карты и слота, это может быть тривиальное преобразование ... в противном случае это может быть довольно сложно.
Даже если вам нужно вручную использовать MegaCLI для включения желтого света на оболочке, когда диск умирает, чтобы удовлетворить процедурные ожидания технологии Dell, вам все равно лучше предоставить необработанные диски ZFS, а не накладывать ZFS поверх аппаратного рейда - вы из-за этого теряем большинство важных функций ZFS, а это самые важные функции (например, обнаружение ошибок и исправление ваших данных).
DELL PERC H330 или H730 не подходят для ZFS во FreeBSD. Существует множество недоразумений относительно режима "сквозной передачи" этих карт, и они просто не реализуют его так, как должно быть для FreeBSD. Он работает в Windows, но не во FreeBSD.
Если вы попытаетесь использовать эти контроллеры, например, в FreeBSD 10.2, он загрузится с mfi (4) драйвер, который на самом деле не является поддерживаемым способом предоставления необработанных дисков для ZFS. Например: при использовании этого драйвера информация SMART будет недоступна для операционной системы, и это поставит под угрозу надежность вашего массива.
Есть работы на миссас (4) драйвер, но этот драйвер в настоящий момент кажется ненадежным и непригодным для чего-либо. Отбрасывание диска в системе хранения невозможно. Есть несколько сообщений об этом поведении здесь: https://bugs.freenas.org/issues/11764
Так что сейчас я рекомендую придерживаться вашей настройки. Я знаю, это отстой. Но на данный момент это лучший вариант с ZFS. Имейте в виду, что ZFS очень вспыльчив с оборудованием, которое вы ему даете. Поэтому он будет ожидать, что правильное оборудование будет работать так, как должно.
Если вы действительно хотите использовать ZFS с его мощностью, приобретите подходящую карту HBA (или контроллер RAID, который можно прошить с помощью прошивки IT - Initiator-target - firmware), и все готово.
Хотя PERC H330 основан на наборе микросхем LSI / Avago SAS3008 и по сути является клоном HBA LSI / Avaga 9300-8i, перекрестная прошивка H330 в ИТ-режим невозможна, а стандартная прошивка DELL не реализует надлежащую (необходимо ) ИТ-режим для FreeBSD.
На данный момент у меня аналогичная проблема. Меня не волнуют светодиоды в системе или что-то еще, но я застрял с PowerEdge R730 с одним H330 и не могу правильно запустить хранилище ZFS на машине.
Я смог понять, как это сделать. Жаль, что я не подумал сделать это раньше.
Я прошил карту RAID DELL H330 в HBA IT Firmware.
Посмотреть здесь: https://forums.servethehome.com/index.php?threads/crossflash-dell-h330-raid-card-to-12gbps-hba-it-firmware.25498/