У меня следующая установка:
Один сервер с двумя контроллерами LSI MegaRAID SAS 9380-8e, которые оба подключены к двум дисковым полкам на 60 отсеков, что примерно соответствует дизайну Эдмунда Уайта (см. https://github.com/ewwhite/zfs-ha/wiki). Цель состоит в том, чтобы воспроизвести точную настройку, но в настоящее время она находится в процессе миграции.
После подключения первой полки все 60 дисков были видны обоими контроллерами, и функция многопутевого обмена была настроена и работает без сбоев. При добавлении второй дисковой полки на 60 дисках все еще была какая-то старая конфигурация RAID, о которой оба контроллера своевременно сообщили. Используя первый контроллер, я удалил конфигурацию с дисков и установил для них JBOD. Все 60 дисков теперь видны ОС и могут быть зарегистрированы с помощью многопутевого режима, но сообщают только об одном пути (проходящем через контроллер 1), второй контроллер по-прежнему сообщает обо всех 60 дисках как о внешних (UGood F), и, похоже, нет способа принудительно заставьте контроллер повторно сканировать устройства или забудьте текущую конфигурацию только для этой полки:
# /opt/MegaRAID/storcli/storcli64 /c1 /e71 /sall show | head -n20
Controller = 1
Status = Success
Description = Show Drive Information Succeeded.
Drive Information :
=================
-----------------------------------------------------------------------
EID:Slt DID State DG Size Intf Med SED PI SeSz Model Sp
-----------------------------------------------------------------------
71:0 74 UGood F 3.637 TB SAS HDD N N 512B HUS724040ALS640 D
71:1 107 UGood F 3.637 TB SAS HDD N N 512B HUS724040ALS640 D
71:2 72 UGood F 3.637 TB SAS HDD N N 512B HUS724040ALS640 D
71:3 95 UGood F 3.637 TB SAS HDD N N 512B HUS724040ALS640 D
71:4 90 UGood F 3.637 TB SAS HDD N N 512B HUS724040ALS640 D
71:5 77 UGood F 3.637 TB SAS HDD N N 512B HUS724040ALS640 D
71:6 73 UGood F 3.637 TB SAS HDD N N 512B HUS724040ALS640 D
71:7 76 UGood F 3.637 TB SAS HDD N N 512B HUS724040ALS640 D
71:8 83 UGood F 3.637 TB SAS HDD N N 512B HUS724040ALS640 D
Это та же полка, которую видит другой контроллер:
# /opt/MegaRAID/storcli/storcli64 /c0 /e165 /sall show | head -n20
Controller = 0
Status = Success
Description = Show Drive Information Succeeded.
Drive Information :
=================
-----------------------------------------------------------------------
EID:Slt DID State DG Size Intf Med SED PI SeSz Model Sp
-----------------------------------------------------------------------
165:0 127 JBOD - 3.637 TB SAS HDD N N 512B HUS724040ALS640 U
165:1 121 JBOD - 3.637 TB SAS HDD N N 512B HUS724040ALS640 U
165:2 118 JBOD - 3.637 TB SAS HDD N N 512B HUS724040ALS640 U
165:3 116 JBOD - 3.637 TB SAS HDD N N 512B HUS724040ALS640 U
165:4 146 JBOD - 3.637 TB SAS HDD N N 512B HUS724040ALS640 U
165:5 122 JBOD - 3.637 TB SAS HDD N N 512B HUS724040ALS640 U
165:6 115 JBOD - 3.637 TB SAS HDD N N 512B HUS724040ALS640 U
165:7 142 JBOD - 3.637 TB SAS HDD N N 512B HUS724040ALS640 U
165:8 145 JBOD - 3.637 TB SAS HDD N N 512B HUS724040ALS640 U
Но попытка удалить (неправильную) информацию со второго контроллера не работает:
# /opt/MegaRAID/storcli/storcli64 /c1 /fall show
Controller = 1
Status = Success
Description = Couldn't find any foreign Configuration
# /opt/MegaRAID/storcli/storcli64 /c1 /fall delete
Controller = 1
Status = Success
Description = Couldn't find any foreign Configuration
# /opt/MegaRAID/storcli/storcli64 /c1 /fall import
Controller = 1
Status = Success
Description = Couldn't find any foreign Configuration
Принудительное включение дисков в JBOD на втором контроллере тоже не работает:
# /opt/MegaRAID/storcli/storcli64 /c1 /e71 /sall set jbod | head -n20
Controller = 1
Status = Failure
Description = Set Drive JBOD Failed.
Detailed Status :
===============
-------------------------------------------------
Drive Status ErrCd ErrMsg
-------------------------------------------------
/c1/e71/s0 Failure 255 Operation not allowed.
/c1/e71/s1 Failure 255 Operation not allowed.
/c1/e71/s2 Failure 255 Operation not allowed.
/c1/e71/s3 Failure 255 Operation not allowed.
/c1/e71/s4 Failure 255 Operation not allowed.
/c1/e71/s5 Failure 255 Operation not allowed.
/c1/e71/s6 Failure 255 Operation not allowed.
/c1/e71/s7 Failure 255 Operation not allowed.
/c1/e71/s8 Failure 255 Operation not allowed.
/c1/e71/s9 Failure 255 Operation not allowed.
Есть ли способ сообщить контроллеру RAID, что эти диски больше не имеют внешней конфигурации и должны рассматриваться как JBOD?
Перезапустите рассинхронизированный контроллер (например, c1)
/opt/MegaRAID/storcli/storcli64 /c1 restart
похоже, что опция jbod в контроллере отключена, попробуйте эту команду storclif64 / c0 счет jbod
и если JBOD выключен, вы можете включить его, используя storclif64 / c0 установить jbod = ON (storcli / c0 установить jbod =)