Производительность диска ниже ожиданий

это продолжение предыдущего вопроса, который я задал (Два сервера с непостоянной скоростью диска).

У меня есть сервер PowerEdge R510 со встроенным RAID-контроллером PERC H700 (назовите этот сервер B), который был построен с использованием восьми дисков с пропускной способностью 3 Гбит / с, которые я сравнивал с почти идентичным сервером (назовите этот сервер A), который был построен с использованием четырех диски с пропускной способностью 6Гб / с. У сервера A скорость ввода-вывода была намного выше, чем у сервера B.

Как только я обнаружил разницу с дисками, я перестроил Сервер А с более быстрыми дисками 6 Гбит / с. К сожалению, это не привело к увеличению производительности дисков. Ожидая, что между серверами должна быть какая-то другая разница в конфигурации, мы вынули диски со скоростью 6 Гбит / с с сервера A и поместили их на сервер B. Это также не привело к увеличению производительности дисков.

Теперь у нас построено два идентичных сервера, за исключением того, что один построен с шестью дисками 6 Гбит / с, а другой - с восемью дисками 3 Гбит / с, а скорости ввода-вывода дисков практически идентичны. Это говорит о том, что есть какое-то узкое место, кроме дисков, но я не могу понять, как на сервере B изначально был лучший ввод-вывод, который впоследствии был «потерян».

Ниже приводится сравнительная информация о вводе-выводе, измеренная с помощью SQLIO. Для каждого теста использовались одни и те же параметры. Важны не фактические числа, а скорее различия между системами. В каждом случае D: - это том RAID 1 с 2 дисками, а E: - том RAID 10 с 4 дисками (кроме исходного сервера A, где E: был томом RAID 0 с 2 дисками).

Сервер A (исходная установка с дисками 6 Гбит / с)

D: Read (MB/s)     63 MB/s
D: Write (MB/s)    170 MB/s
E: Read (MB/s)     68 MB/s
E: Write (MB/s)    320 MB/s

Сервер B (исходная установка с дисками 3Gpbs)

D: Read (MB/s)     52 MB/s
D: Write (MB/s)    88 MB/s
E: Read (MB/s)     112 MB/s
E: Write (MB/s)    130 MB/s

Сервер A (новая установка с дисками 3Gpbs)

D: Read (MB/s)     55 MB/s
D: Write (MB/s)    85 MB/s
E: Read (MB/s)     67 MB/s
E: Write (MB/s)    180 MB/s

Сервер B (новая установка с дисками 6 Гбит / с)

D: Read (MB/s)     61 MB/s
D: Write (MB/s)    95 MB/s
E: Read (MB/s)     69 MB/s
E: Write (MB/s)    180 MB/s

Кто-нибудь может подсказать какие-нибудь идеи, что здесь происходит?

Используются следующие приводы:

Вам нужно меньше уделять внимания максимальной скорости интерфейса и уделять больше внимания характеристикам производительности физического диска, поскольку это обычно узкое место. Как описано на этот сайт для Hitachi Hus153030vls300 300GB Подключенный вами диск SAS сервера.

Что касается производительности, важные цифры, указанные в PDF-файле Hitachi, являются

Буфер данных (МБ) 16
Скорость вращения (об / мин) 15,000
Средняя задержка (мс) 2,0
Скорость передачи мультимедиа (Мбит / сек, макс.) 1441
Стабильная скорость передачи (МБ / с, тип.) 123-72 (зона 0-19)
Время поиска (чтение, мс, типичное) 3,6 / 3,4 / 3,4

Поскольку все эти цифры означают, что диск не сможет заполнить канал 3 Гбит / с, нет смысла иметь канал 6 Гбит / с.

Я не могу представить себе рейд-контроллер, который может одновременно использовать максимальную производительность каждого диска в одном массиве. Итак, предположим, что у вас есть RAID 1 с 2 дисками, первый из которых способен обеспечить постоянную скорость последовательного чтения и записи 60 МБ / с, а второй - всего 50 МБ / с, тогда запись в массив будет ограничена до 50 МБ / с, в то время как приличная рейд-карта будет иметь возможность иметь 2 одновременных потока чтения, один со скоростью 60 МБ / с, а другой со скоростью 50 МБ / с. Чем сложнее массив, тем сложнее становятся эти цифры.

Некоторые другие заметки

максимальная скорость передачи данных на разных участках диска различна, обычно она выше в начале диска.
Последовательное чтение - это самые быстрые устойчивые операции, которые может выполнять диск, а произвольное чтение или запись значительно медленнее.
Обычно рейд-контроллер отключает встроенный кеш записи на дисках и будет использовать свой собственный кеш для записи только в том случае, если у него хорошая батарея или вы измените значение по умолчанию.
Я читал о некоторых случаях некоторых комбинаций прошивки диска / рейда, которые ложно определяют плохую батарею и отключают весь кеш записи. Так обновите прошивку как для диска, так и для рейд-контроллера

Есть некоторые диски, рекламируемые как высокопроизводительные диски 6 Гбит / с, которые на самом деле не так высокопроизводительны, у них просто интерфейс 6 Гбит / с, и они в любом случае не могут даже заполнить канал 3 Гбит / с (что заняло бы 357 МиБ / с).

Основное преимущество sas / sata 6 Гбит / с - для твердотельных накопителей и мультипликаторов портов (т. Е. Подключение нескольких дисков к 1 порту sas / sata)

Я не очень знаком с системами Windows, но вот некоторые моменты, которые следует учитывать при тестировании, особенно с вводом-выводом.

Помните, что эта схема представляет слои между вашим приложением и дисками:

Application <=> Filesystem (OS) <=> Disk controller <=> Hard drive

И каждая часть в этом имеет свой собственный метод перемещения информации в верхнюю и нижнюю часть, имеет свой собственный кеш, конфигурацию и т. Д.

Применение: (вот ваш инструмент). Лучше писать большие модификации в большом блоке, чем делать много маленьких записей. Вы ждете полного сброса на диск, делаете ли вы последовательный доступ или произвольный доступ ?
Файловая система: здесь много параметров: кеширование ОС, предварительная выборка данных, размер блока данных.
Контроллер диска: он является центральной точкой перед доступом к жестким дискам. Его конфигурация будет учтена 30% ваших настроек. Среди них основные моменты:
- Соотношение кэширования при чтении / записи. В зависимости от вашего приложения, которое может интенсивно читать или писать, вы соответствующим образом настроите это соотношение.
- Кэширование батареи, позволяющее использовать методы WRITE-THROUGH или WRITE-BACK.
- Уровень рейда: вы должны выбрать уровень в соответствии с вашими требованиями к отказоустойчивости. RAID0 для нулевой устойчивости, но отличной производительности, RAID1 для отказоустойчивости, но 50% общего дискового пространства, доступного для использования, RAID5 / 6 для компромисса ...
Жесткий диск: более высокая скорость вращения позволит вам быстрее получать доступ к данным, расположенным в разных регионах диска. Таким образом, лучше для случайный поиск

Также ищите о выравнивание данных: Я видел, как Windows много раз создавала неправильно выровненные разделы. Таким образом, когда файловая система хочет записать 1 блок размером 4 КБ, это приводит к 2 операциям ввода-вывода на диск, поскольку блок FS расположен на 2 блоках устройства.

Более подробная информация поможет нам найти узкое место.

Адриан.

По своему опыту я видел большие различия в производительности дисков SAS 15k. Вы упомянули несколько замен дисков, но похоже, что вы сосредотачиваетесь на скоростях шины 3Gig против 6Gig, когда это мало повлияет на указанные вами числа ввода-вывода. Если бы я был на вашем месте, я бы протестировал диски по отдельности, чтобы увидеть, есть ли у меня медленный диск.

Какие еще настройки применяются к вашей настройке RAID. Политика записи, кэширование, размер полосы и т. Д. Были ли они согласованы между тестами?

Вам необходимо обновить прошивку H710, жестких дисков и объединительной платы, если таковая имеется. Если вы используете Linux, вам нужно только обновить прошивку.

Кроме того, перед этим вы можете установить Dell Server Admin (OMSA), например 7.3.0.1 на данный момент, чтобы проверить, будет ли он сообщать вам о каких-либо проблемах с несовместимостью.

Вам необходимо использовать диски того же типа в одном массиве, если это SAS.

Таким образом, в основном, если у вас неправильная прошивка жесткого диска, старая прошивка SAS, различные диски SAS (даже если они SATA, они могут работать как SAS), вы никогда не сможете получить стабильную производительность на всех дисках.

На самом деле, если бы у вас были разные типы дисков, которые могли бы это вызвать.