Я нахожусь на этапе оценки некоторых аппаратных средств, которые можно использовать для настройки кластера HADOoop. Это аппаратное обеспечение отремонтировано (серверы HP G6 с контроллером Smart Array 410 / i), и, вероятно, мы должны / должны его использовать ... у нас его еще нет. Я читал, что контроллер 410 / i не поддерживает конфигурацию JBOD, как того требует hadoop, есть ли кто-нибудь, кто мог бы подтвердить это утверждение? Или не ? Кажется, что обходной путь может заключаться в настройке raid0 на каждом диске, опять же, кто-нибудь это подтверждает, или есть другие способы настройки? Спасибо Роб
Контроллер Smart Array 410 / i позволяет создавать только 2 raid-устройства без добавления к нему дополнительной карты памяти. Так что, если у вашего оборудования всего 2 диска, все будет в порядке; можно просто сделать 2 рейда. Если у вас более двух дисков, вам, вероятно, придется приобрести модуль памяти BBWC с кэшем записи с резервным питанием от батареи емкостью 256 МБ. Если вы не уверены, попробуйте в утилите настройки, она будет жаловаться, что существует ограничение на количество настроенных raid-устройств, разрешенных, если вам нужно приобрести надстройку памяти.
Недавно я установил сервер ZFS, используя один из этих и 12 дисков в режиме RAID0 для каждого, и он работает нормально. Поскольку вы можете отключить практически все функции фактического контроллера рейда, он фактически такой же, как режим JBOD.
Эта ситуация похожа на то, с чем я столкнулся при разработке оборудования для решений хранения ZFS. ZFS - это программный RAID-массив, который использует ресурсы сервера для управления дисками. Аппаратный RAID не рекомендуется, а JBOD на самом деле невозможен с контроллерами Smart Array. Поэтому при использовании систем ProLiant для ZFS я заменяю контроллер Smart Array на что-то с режимом JBOD или базовым HBA-адаптером SAS / SATA.
Обычно это LSI SAS HBA (без функций RAID). Я предпочитаю LSI 9211-8i или 9205e.
См. Рекомендации по адресу: Рекомендации по контроллеру ZFS SAS / SATA
Вы можете настроить RAID 0 для каждого доступного физического диска.
Скажем, если у вас 8 дисков, то у вас получится что-то вроде этого (CentOS 6):
# hpacucli ctrl all show config | grep RAID
logicaldrive 1 (558.9 GB, RAID 0, OK)
logicaldrive 2 (558.9 GB, RAID 0, OK)
logicaldrive 3 (558.9 GB, RAID 0, OK)
logicaldrive 4 (558.9 GB, RAID 0, OK)
logicaldrive 5 (558.9 GB, RAID 0, OK)
logicaldrive 6 (558.9 GB, RAID 0, OK)
logicaldrive 7 (558.9 GB, RAID 0, OK)
logicaldrive 8 (558.9 GB, RAID 0, OK)
Хотя диапазон Pxxx не позволяет напрямую настраивать JBOD, если вы просто создаете один массив на всех своих дисках, а затем создаете несколько массивов RAID0 эквивалентных размеров, вы в значительной степени там с точки зрения функционального сходства. Тем не менее, я также немного сомневаюсь в требованиях Hadoop, во-первых, он не может действительно сказать, какая реальная конфигурация диска скрыта BIOS, а во-вторых, потому что это кажется чрезмерно предписывающим, учитывая, насколько хорошо продуманы контроллеры HP, что проблема с массивом, управляющим своими дисками?