У меня есть 45-дисковый массив Seagate Barracuda 3 TB ST3000DM001 (да, это настольные диски, я знаю об этом) в Supermicro sc847 JBOD, подключенный через LSI 9285. Я нашел решение проблемы, описанной ниже, за счет снижения скорости через
MegaCli -PhySetLinkSpeed -phy0 2 -a0;
for i in $(seq 48); do MegaCli -PhySetLinkSpeed -phy${i} 2 -a0; done
и перезагрузка.
Остается вопрос: Это типично для современного оборудования со скоростью 6 Гбит / с? Это печальное состояние хранилища SATA? Или у меня какое-то оборудование (на ум приходят кабели sff-8088) плохое?
Проблема заключалась в следующем:
При синхронизации HW RAID-6 диски оставались отключенными. Получение значений SMART показало, что те, которые были отключены, больше не увеличивали часы работы. То есть у них прошивка (CC4C) вроде вылетает.
Разобравшись в этом вопросе, переключившись на программный RAID-6 с проходными дисками, я получил тонны сообщений ядра, разбросанных по всем дискам, с пропускной способностью 6 ГБ / с:
sd 0:0:9:0: [sdb] Sense Key : No Sense [current]
Info fld=0x0
sd 0:0:9:0: [sdb] Add. Sense: No additional sense information
И наконец, когда диск отключен:
megasas: [ 5]waiting for 160 commands to complete
...
megasas: [35]waiting for 159 commands to complete
...
megasas: [155]waiting for 156 commands to complete
...
megaraid_sas: pending commands remain after waiting, will reset adapter.
Уродливый сброс контроллера здесь, затем через несколько минут:
megaraid_sas: Reset successful.
sd 0:0:28:0: Device offlined - not ready after error recovery
...
sd 0:0:28:0: [sdu] Unhandled error code
sd 0:0:28:0: [sdu] Result: hostbyte=DID_ERROR driverbyte=DRIVER_OK
sd 0:0:28:0: [sdu] CDB: Read(10): 28 00 23 21 2f 40 00 00 70 00
sd 0:0:28:0: [sdu] killing request
Снизил скорость до 3 гб / с как написано выше, все проблемы исчезли.
Как и 4-парный кабель UTP (ethernet), не все кабели SATA можно использовать для любой скорости. Убедитесь, что ваши кабели рассчитаны на 6,0 Гбит / с (обычно кабель имеет «разделенный» вид и на нем напечатан текст типа SATA 6,0 Гбит / с).