Производительность объединительной платы расширителя SAS падает, когда активно более 8 дисков?
Мы используем рейд-контроллер LSI 9211-8i (прошит в режиме IT) в слоте PCI-e 2.0 x8. Он подключается к объединительной плате supermicro SAS 836EL1 с помощью 1 кабеля SFF-8087. У нас установлено 16 приводов.
Когда мы проводим тест «плохих блоков» для одного диска, производительность составляет около 140 мегабайт / с. При одновременном выполнении тестов на плохие блоки на нескольких дисках все диски продолжают получать около 140 Мбайт / с, пока мы не превысим 8 дисков.
С 16 активными дисками мы получаем только 60 Мбайт / с на каждом диске.
Это нормальное поведение для объединительной платы расширителя? Если нет, то в чем может быть причина?
Так работают расширители SAS. Технически ваша подписка превышена, но на самом деле этого не должно быть.
- Ваш WD2003FYYS диски соединяются со скоростью 3,0 Гбит / с, но способны только на 1,2 Гбит / с / диск.
- Ваш Объединительная плата / расширитель дисков Supermicro имеет 16 портов с нисходящей линией 6,0 Гбит / с для накопителей, но один восходящий канал SFF-8087 к контроллеру.
- Насколько я могу судить, эта объединительная плата поддерживает только одно подключение SAS SFF-8087 к HBA. Модель 836EL2 поддерживает несколько подключений.
Соединение SAS SFF-8087 обеспечивает пропускную способность 4 x 6,0 Гбит / с == 24 Гбит / с.
140 мегабайт в секунду - это ~ 1,2 Гбит / с. 8 дисков при этой скорости около 9 Гбит / с. Вы, вероятно, сможете получить еще несколько дисков, прежде чем ставки упадут. Учитывайте накладные расходы.
Вы достигаете максимальной скорости 3,0 Гбит / с (потолок 12 Гбит / с для 4-полосного кабеля SAS).
Возможно, возникла проблема согласования канала между вашим HBA LSI и объединительной платой расширителя. Проверьте контроллер LSI и посмотрите, показывает ли он канал 3.0 Гбит / с на порту SFF-8087 или 6.0 Гбит / с. Вы получаете только скорость 3,0 Гбит / с, но все устройства в цепочке (кроме дисков) имеют скорость 6,0 Гбит / с.
Вы обновили прошивку расширителя?
Редактировать:
Думаю, я столкнулся с этим на работе ... Возникла проблема с этим типом расширителя и контроллерами LSI, которая вызвала SATA диски для связи на 1,5 Гбит / с. Взгляните сюда. Так что вопросы переговоров могут быть на стороне драйва. Можете ли вы также проверить прошивку на вашем контроллере LSI.
SAS-расширители (на момент написания) не «сохраняют и не пересылают», как коммутатор Ethernet. Они могут работать только со скоростью самого медленного сигнального устройства в массиве.
В этом случае ваши диски поддерживают только 3,0 Гбит / с, а один кабель SFF-8087 передает 4 порта к контроллеру, что в сумме составляет 12,0 Гбит / с. С учетом накладных расходов на кодирование у вас остается примерно 1200 МБ / с для разделения между 16 дисками, примерно 75 МБ / с на диск. Добавьте некоторые накладные расходы протокола SATA, и мы снизимся до 60 МБ / с, которые вы видите.
Если вы добавите еще один кабель SFF-8087 для всего 8 каналов 3,0 Гбит / с, вы удвоите доступную пропускную способность шины, реально достигнув ~ 120 МБ / с на диск. И наоборот, если диски поддерживают 6,0 Гбит / с вместо 3,0, вы можете достичь тех же 120 МБ / с по одному кабелю или достичь максимальной пропускной способности каждого отдельного диска по двум кабелям. (TL; DR: по возможности используйте два восходящих канала SFF-8087)
Это одна из причин, по которой диски SATA и SAS теперь поставляются со скоростью передачи сигналов 6,0 или даже 12,0 Гбит / с. Отдельные диски могут обеспечить лишь небольшую часть этой пропускной способности, но при более высокой скорости работы всей шины SAS он может обрабатывать больше дисков до того, как возникнет узкое место.
Я думаю, что горлышко бутылки находится на одном кабеле SFF-8087, который дает вам около 12 ГБ / с.
Вы можете подтвердить это, отбросив 4 диска и посмотреть, составляет ли производительность 80 МБ / с на диск (16 ^ 60/12), или попробуйте использовать 2 кабеля для подключения к LSI 9211-8i.
Итог читаем мануал.http://www.supermicro.com/manuals/other/BPN-SAS-836EL.pdf