Возможно ли ceph обрабатывать аппаратные RAID-массивы (LUN) как диски OSD?

Я новичок в ceph и пытаюсь выяснить, поддерживает ли ceph рейдовые HBA аппаратного уровня.

К сожалению не смог найти никакой информации. Я обнаружил, что для OSD рекомендуется использовать простые диски. Но это выдвигает требования к PCIe, интерфейсам диска к высокой пропускной способности, а требования к процессору очень высоки. Аппаратные RAID-контроллеры уже удовлетворили эти требования и обеспечивают высокую избыточность на основе настроек, не потребляя мой PCIe, процессор или любые другие ресурсы.

Таким образом, я хотел бы иметь локальные RAID-контроллеры, которые обрабатывают мою дисковую избыточность на уровне контроллера (Raid 5, raid 6) независимо от уровня RAID, который мне нужен. Помимо того, какие RAID LUN я хотел бы использовать ceph для выполнения более высокого уровня репликации между: хостом, шасси, стойкой, строкой, центром обработки данных или всем, что возможно или запланировано в CRUSH

Есть ли опыт в этой настройке?

Это рекомендуемая установка?

Есть ли подробная документация по интеграции аппаратного RAID?

Вы можете не значит, что должны. Сопоставление логических модулей RAID с Ceph возможно, но вы добавляете один дополнительный уровень абстракции и как бы делаете по крайней мере часть функциональности Ceph бесполезной.

Аналогичная ветка в их списке рассылки:

http://lists.ceph.com/pipermail/ceph-users-ceph.com/2017-September/021159.html

Но это выдвигает требования к PCIe, интерфейсам диска к высокой пропускной способности, а требования к процессору очень высоки.

Не совсем так, многие рабочие нагрузки хранилища хорошо обслуживаются современными процессорами общего назначения и межсоединениями.

Да, RAID-контроллер обеспечивает резервирование с помощью нескольких дисков в одном шасси. Но это стоимость и сложность, когда вы запускаете уже избыточные многоузловые распределенные системы хранения, такие как Ceph. Зачем беспокоиться о зеркалировании физического диска, если у Ceph уже есть несколько его копий?

Строительными блоками такого решения являются просто связка дисков. Такие как Открытые вычислительные хранилища Откройте Vault. 30 шпинделей в корпусе, подключенном к вычислительному узлу, возможно, с парой десятков ядер ЦП. Добавьте столько узлов, сколько вам нужно для масштабирования. Вы можете оставить это вычисление для Ceph, если хотите максимизировать пропускную способность.

Рекомендуется использовать отдельные диски или, в конечном итоге, диски в парах RAID-1.

Один контроллер SAS (или RAID-контроллер в режиме JBOD) может без проблем управлять несколькими сотнями дисков.

Использование очень больших массивов нарушает саму цель CEPH - избегать единичных точек отказа и «горячих точек». Это также навредит вашей избыточности.

Допустим, вы хотите построить кластер CEPH 1 ПБ с дисками 8 ТБ, используя шасси серверов на 36 дисков (обычное оборудование, подобное Supermicro). Давайте сравним настройки с RAID и без RAID с точки зрения емкости и надежности:

Для RAID-6 вам понадобится 5 шасси (и 10 OSD).
- Каждое шасси будет иметь 2 RAID-массива по 18 дисков.
- У вас будет 1024 ТБ доступного хранилища.
- В случае отказа нескольких дисков вам придется восстановить 256 ТБ.
С CEPH и 5 шасси у вас будет 180 экранных меню.
- Доступная емкость будет немного выше (с использованием кодирования со стиранием): 1152 ТБ
- в случае сбоя нескольких дисков вам придется восстанавливать только количество вышедших из строя дисков (если это не весь сервер, он всегда будет меньше 256 ТБ).