У нас есть небольшое количество систем Dell T410 и T710. Каждый из них оснащен контроллером Dell SAS 6iR с 6 дисками SATAII, ОС 1x160 ГБ и дисками DATA 5x3 ТБ. У нас всегда были проблемы со скоростью доступа к диску, каждый диск выдавал немногим более 100 МБ / с, но быстро замедлялся под нагрузкой. Нам сказали, что это наши дисковые контроллеры. Пытался заменить один из них на H700 и увидел небольшую разницу, возможно, увеличение скорости на 5%. Мы убедили себя, что это должно быть что-то с дисками SAS -> SAS Backplane -> SATAII.
Но теперь мы пытаемся настроить кластер ceph между системами и ускорить файлы журналов, которые мы купили OCZ Vertex 4 SDD с картой Highpoint 620 PCI-e 1X, поскольку все SAS связаны с SAS Backplane. Все в порядке.
Но при тестировании я пробовал «dd if = / dev / zero bs = 4k count = 1024k of = / mnt / test1.img», где SSD смонтирован с файловой системой EXT4. У меня в другом окне открыт iostat -dmx 1. Я вижу завершение записи, сообщая о записи на диск 390 МБ / с, но это с кэшированием диска. В iostat я вижу, что он сбрасывается на диск со скоростью 100–120 МБ / с, которую я вижу на наших дисках SATAII!
Пробовал тот же тест в другом направлении: «echo 3> / proc / sys / vm / drop_caches; dd if = / mnt / test1.img bs = 4k of = / dev / null ', который сообщил о 194 МБ / с и показал 189 МБ / с в iostat.
Я пробовал то же самое с Ubuntu 12.10 и CentOS Live CD. Наши системы Windows 2008 R2 всегда казались медленными. Все BIOS и прошивки обновлены. Пробовал планировщики noop, deadline и cfq, все равно результаты. Отключены все параметры памяти и процессора в BIOS без изменений. Пробовал с включенным IOATDMA, без изменений. Пытался вынуть все сетевые карты и карты SAS, оставив только карту SATAIII и SSD, без изменений. Карта SATAIII распознается правильно и определяет SSD как скорость 6G.
Карта SATAIII и SSD получают 400 МБ / с + в других, настольных системах.
Есть идеи, что попробовать дальше?
Мы не можем позволить себе заменить и начать все сначала. Он действует так, как если бы есть какой-то ресурс, который ограничивает количество ресурсов ввода-вывода или тайминги, так что он не может достичь полной скорости. Ограниченный Dell BIOS не имеет большого количества вариантов для этого, а карта и SSD отлично работают в других системах, поэтому это не должно быть виновником. И с дисками SATAII всегда было медленно, даже если они лучше работают и в других системах.
Я даже вижу медленную производительность на метадисках в системе. Это видно, когда я попробовал LVM с чередованием или зеркалированием в CentOS, метадиски, которые он устанавливает в качестве фона для реализации томов LVM, были ограничены той же скоростью, что и диски за ними. В то время я думал, что это могло быть как-то связано с новым кодом, реализующим его, или с аспектами блокировки ввода-вывода операций RAID. Теперь я думаю, что это все связано.
Что ж, с моей точки зрения, проблема может быть в неисправной шине PCI-E или в каких-то проблемах с контроллером в целом. На стороне контроллера пробовали ли вы отключить кеш записи для SSD-дисков? Официально Dell предлагает отключить кеш записи при использовании SSD-накопителей ...
Еще один момент, если я правильно помню, любой контроллер Dell отключает кеш записи, если у вас нет установленного на сервере блока резервного питания от батареи (BBU), у вас он есть? Если нет, то принудительно кэшируйте запись в PERC BIOS и проверьте, не изменилась ли производительность. Имейте в виду, что кэш записи без батареи подвергает вас катастрофической потере данных в случае сбоя питания!
В крайнем случае, если проблема связана с шиной PCI-E, самым быстрым и простым способом должна быть замена слота контроллера.
РЕДАКТИРОВАТЬ: забыл упомянуть
Вы обновили прошивки системы до последних версий? BIOS, прошивки PERC и подобные вещи? Если нет, то получите последнюю версию на support.dell.com и попробуйте еще раз. Возможно, это ничего не изменит, но в старых прошивках Dell BIOS была ошибка, из-за которой они ограничивали ЦП в архитектурах после Nehalem, попробуйте отключить C-состояния в разделе ЦП BIOS, ВНИМАНИЕ, это приведет к увеличению энергопотребления!