Я планирую использовать ZFS в своей системе (HP ML370 G5, Smart Array P400, 8 SAS disk). Я хочу, чтобы ZFS управляла всеми дисками по отдельности, чтобы можно было использовать лучшее планирование (т.е. я хочу использовать функцию программного RAID в ZFS).
Проблема в том, что я не могу найти способ отключить функцию RAID на контроллере RAID. Прямо сейчас контроллер объединяет все диски в один большой том RAID-5. Таким образом, ZFS не может видеть отдельный диск.
Есть ли способ выполнить эту настройку?
Невозможно отключить функцию RAID на контроллерах HP Smart Array старше P420i.
Распространенным «решением» этой проблемы является создание однодисковых томов RAID-0 на уровне контроллера. Это не очень хорошее решение и определенно не эквивалентно расположению JBOD. На дисках есть метаданные RAID, и сбои приведут к неожиданным результатам.
В этом случае будьте осторожны с настройкой однодискового RAID 0 Smart Array P400. Если у вас есть событие горячего подключения (сбой диска / извлечение диска), ZFS не распознает новый диск без перезагрузки. На этих картах нет настоящей настройки JBOD.
Использование выделенного адаптера шины SAS - верный путь.
Следует также отметить, что только потому, что я только что убил 7 ТБ данных, следуя указаниям LapTop006, давайте назовем это «личным мнением», что контроллер P400 будет отображать неназначенные диски как JBOD, что это всего лишь предположение, и это так. ложь, по крайней мере, для моего P400. Могут быть и другие контроллеры, которые ведут себя так, как сказал LapTop006, а P400 - нет, по крайней мере, не с оригинальной прошивкой (V2.75).
Я усвоил это сегодня на собственном горьком опыте, когда пытался перенести программный RAID-5 на 6 дисков с машины с неисправным 6-канальным контроллером SATA RAID. Они всегда были частью программного RAID, функциональность RAID «поддельного» RAID-контроллера ICH9 никогда не использовалась.
На целевой машине не было достаточного количества портов SATA, поэтому я подумал, что нет проблем, в любом случае это ПРОГРАММНЫЙ RAID, почему бы не подключить диски к P400, диски будут - если контроллер будет вести себя так, как указано - будут отображаться как JBOD , и ОС должна - как это делалось много раз раньше, когда я перемещал программные RAID-массивы с одной машины на другую - распознала бы RAID.
В моем случае, однако, P400 распознал диски как новые и - не запрашивая моего подтверждения - он автоматически создал массив RAID-5 на уровне контроллера, как только я включил компьютер. Прощай, программный RAID.
Я вернул диски на исходную машину, но RAID уже был поврежден, теперь ОС видела 6 пустых дисков.
Пока, 7 ТБ данных.
Повреждение уже сделано, с дисками поигрался немного. Вернувшись на машину с P400, я удалил ненужный RAID-5, диски не отображались на уровне ОС. Пришлось создать 6 дисков RAID-0, и они появились - правда, все пустые.
Выводы:
Вот мой личный опыт работы с RAID-контроллером HP Smart Array P410:
У меня есть контроллер P410, купленный на ebay. Он поставляется с 512 МБ ОЗУ, с поддержкой «Flash» и «SuperCapacitor». Я также обнаружил, что он поставляется с «лицензией на функции», которая называется «Advanced Pack 01». Эта лицензия «Advanced Pack» включает Raid 6 и 60, а также другие «Расширенные настройки». Прямо сейчас я не уверен, что эта «функция» - это то, что включается, когда вы добавляете на карту ОЗУ и аккумулятор / суперконденсатор - я думаю, что это ... пожалуйста, свяжитесь с кем-нибудь, если у вас есть дополнительная информация.
Я взял рабочий диск SATA емкостью 320 ГБ, на который загрузил файлы, и подключил его к порту контроллера HP P410. Затем я настроил его с помощью HP «Smart Storage Administrator» (служебная программа Windows) как «Single Disk Raid 0», как прокомментировали другие.
Итак, после этого Windows сразу же отобразит новый диск. О чудо, мои данные там все, здорово!
Вы заметите, что если вы проверите информацию «Физическое устройство» в Smart Storage Administrator, в списке появится пункт, который гласит: «Доступно для ОС: Нет». Кажется, P410 знает, что нам нужен JBOD, но отказывается его нам давать! Это довольно неприятно ...
Вот что я нашел. Контроллер Smart Array перезаписывает некоторые данные в начале диска и ... если вы попытаетесь извлечь этот диск из Smart Array и вернуться к обычному порту материнской платы, Windows Disk Management покажет это как «Нераспределенный».
Решение этой проблемы ... Используйте отличную утилиту "TestDisk", вы можете выбрать физический диск, сказать, что у вас есть раздел Intel, и после быстрого поиска он должен найти вашу недостающую информацию. Вы можете использовать «P: List Files», чтобы убедиться, что эти файлы действительно существуют ... Затем вы говорите TestDisk «Записать» информацию обратно на диск, перезагружаете компьютер и вуаля! Вернуться в счастливую страну. Итак, похоже, здесь есть способ выполнить эту работу, вам просто нужно знать, что Smart Array (и многие другие контроллеры из того, что я читал), перезапишет немного данных на любом диске, который вы решите. настроить как RAID-массив любого типа. Однако, если вы будете осторожны и не инициализируете или не стираете, вы часто можете вернуть свой диск в нормальное состояние с помощью небольшого приятного инструмента, такого как «TestDisk».
Примечание: у меня также был хороший успех, запустив Raid 5 на P410. Первоначально я создал его на P400, а затем решил заменить его на P410. Не входя в меню конфигурации или не требуя другого вмешательства, P410 распознал массив Raid 5 и сразу же сделал его доступным после загрузки! Я думал, что это было неплохо. Итак, еще одно свидетельство того, что карты HP Raid хранят всю информацию о массиве на самих дисках, а не на карте. Ницца!
Еще одна вещь, я не нашел способа включить настоящий «сквозной» режим на этом интеллектуальном массиве. Если оставить диски «ненастроенными» или иначе не входить в массив, их нельзя будет показать оператору-оператору. Smart Array будет работать нормально, только если вы позволите ему управлять необработанными дисками. Как было сказано ... то, что я узнал, говорит мне, что уровень "помех" со стороны Smart Array минимален ... мне это кажется неважным.
Кстати, я занимаюсь всем этим на сервере / рабочей станции SuperMicro 745. 743, 745, 747 и 748 - потрясающие шасси / системы! Вы можете довольно дешево купить 743 или 745 на ebay. А если вам нравится хранилище MEGA, вы можете дешево купить 846 (24 отсека) на ebay (у меня есть один).
Джефф
Другой вариант - создать каждый диск как однодисковый массив RAID-0 (да, он должен позволить вам это сделать). Тогда ZFS увидит все отдельные диски.
«Техническое» название искомого варианта - JBOD - Just a Bunch of Disks.
Я просто переместил внутренний кабель SCSI от карты смарт-массива к встроенному контроллеру SCSI, расположенному на системной плате. Это дало мне доступ к необработанным дискам.
Всем, кто просматривает эту старую ветку и использует комплект HP smartarray - не делайте этого! - вот почему:
ZFS лучше всего использовать там, где контроллер не будет отключать диски, если обнаружит проблему. Пусть ZFS справится с этим сама. Smartarray отключит диск, если увидит чтение (или любую другую проблему) - это совсем не идеально для ZFS и может доставить вам много неприятностей!
Это означает, что для ZFS следует любой ценой избегать использования смарт-массивов P420, P8 * и т. Д. До тех пор, пока HP не разрешит прямую передачу данных без отключения диска смарт-массивом, даже если есть проблема. Что произойдет, когда диск начнет выходить из строя (но не полностью), так это то, что контроллер smartarray просто отключит весь диск. Вы можете подумать, что это правильно, однако, если диск все еще работает (на других частях его поверхности), его все еще полезно иметь, особенно при повторном серебрении на новый диск. ZFS по-прежнему может использовать неисправный диск. Он имеет CRC / и т.д. и может управлять этим за вас. Интеллектуальный массив просто отключает весь диск, и если вы не используете что-то вроде raidz3 (или не выполняете чистку регулярно), вы можете столкнуться с неприятностями при повторном обновлении, и вы обнаружите, что другой диск имеет проблему в другой области ( такова жизнь с HP SAS)
tl; dr HP Smartarray не следует использовать для ZFS, пока он не сможет выполнять сквозную передачу без отключения дисков, с которыми возникают проблемы. Используйте другую карту HBA, которая не будет мешать, если с диском возникнет проблема (пусть ZFS управляет ею, она очень хорошо в этом)
Если вы просто удалите том в RAID BIOS, который открывает диски непосредственно в некоторых версиях контроллеров SmartArray. Мы всегда используем контроллер даже с ZFS.