Мы создали отчет по мониторингу IOP на счетчиках производительности, используя Чтений с диска / сек и Запись на диск / сек на четырех серверах (физические блоки, без виртуализации) с 4 дисками SAS по 15 тыс. 146 ГБ в массиве RAID10 на каждый сервер, настроенных для проверки и записи данных каждые 1 секунду и сохраненных в течение 24 часов перед остановкой отчетов.
Вот результаты, которые мы получили:
Server1 Максимальное число операций чтения с диска / сек: 4249,437 Максимальное количество операций записи на диск / сек: 4178,946
Server2 Максимальное количество операций чтения с диска в секунду: 2550,140 Максимальное количество операций записи на диск в секунду: 5177,821
Server3 Максимальное количество операций чтения с диска в секунду: 1903,300 Максимальное количество операций записи на диск в секунду: 5299,036
Server4 Максимальное количество операций чтения с диска в секунду: 8453,572 Максимальное количество операций записи на диск в секунду: 11584,653
Среднее количество операций чтения и записи на диск в секунду было в целом низким. Т.е. для одного конкретного сервера среднее значение составляло 33 записи в секунду, но при мониторинге в реальном времени оно часто увеличивалось до нескольких сотен, а иногда и до тысяч.
Может ли кто-нибудь объяснить мне, почему эти цифры значительно выше теоретических расчетов, если каждый диск может выполнять 180 операций ввода-вывода в секунду?
Дополнительные сведения (карта RAID): HP Smart Array P410i, общий размер кеш-памяти 1 ГБ, кэш записи отключен, коэффициент кэш-памяти ускорителя массива составляет 25% чтения и 75% записи
Каждый привод может сделать 180 случайный ВГД. Ваша рабочая нагрузка полностью случайна? Готов поспорить, что вы видите последовательное чтение / запись.
Я бы предположил, что это кеширование. Вы сказали, что кэш записи отключен, но я вижу «Кэш ускорителя массива», я не знаком с этим, но кэширование памяти объясняет всплески высокой пропускной способности.
Если вы проводите сравнительный анализ с использованием реалистичных моделей активности, и применение производительность приемлемая и находится в пределах технических характеристик оборудования, значит, вы в хорошей форме. Однако понимание ваших шаблонов чтения / записи и возможностей вашей системы хранения также важно.
Вы используете контроллер HP Smart Array, поэтому есть количество факторов, влияющих на его работу.
1). У вас есть кэш записи, который представляет собой кеш физического диска на каждом диске. Может 8-32 мегабайта. Вероятно, это отключено в вашей настройке.
2). У вас также есть кэш записи с резервным питанием от батареи (BBWC) или кэш записи с резервным питанием (FBWC) на реальном контроллере. Это либо 512 МБ, либо 1 ГБ, защищенные механизм энергонезависимого кеширования. Кажется, это включено.
3). Коэффициент кеширования, который вы описали в своем вопросе, - это процент от указанного выше, предназначенного для чтения и записи. Это обозначается терминологией «Array Accelerator».
Включив ускоритель массива, вы получите запись с малой задержкой в кеш перед переходом на диск. По сути, ваше приложение может сказать: «Да, я написал это», потому что система хранения сообщает, что «написано», и может объединять записи и передавать их на вращающийся диск последовательными партиями.
У вас есть буфер записи 384 МБ или 768 МБ, в зависимости от ваших текущих настроек, поэтому во время теста учитываются высокие показатели IOPS. У вас также есть небольшой доступный кеш чтения. Если ваш рабочий набор данных достаточно мал, вы можете работать полностью в кеше, который намного быстрее, чем диск.
Вот результат конфигурации Smart Array P410 на ProLiant DL380 G7. Как видите, в базовую настройку много чего нужно сделать, и есть несколько оптимизаций. Я думаю, что вы могли отключить только один маленький элемент, оставив остальные на месте.
Smart Array P410i in Slot 0 (Embedded)
Bus Interface: PCI
Slot: 0
Serial Number: 500143801664FE50
Cache Serial Number: PBCDF0CRHZV1JS
RAID 6 (ADG) Status: Disabled
Controller Status: OK
Hardware Revision: C
Firmware Version: 5.14
Rebuild Priority: Medium
Expand Priority: Medium
Surface Scan Delay: 15 secs
Surface Scan Mode: Idle
Queue Depth: Automatic
Monitor and Performance Delay: 60 min
Elevator Sort: Enabled
Degraded Performance Optimization: Disabled
Inconsistency Repair Policy: Disabled
Wait for Cache Room: Disabled
Surface Analysis Inconsistency Notification: Disabled
Post Prompt Timeout: 0 secs
Cache Board Present: True
Cache Status: OK
Cache Ratio: 25% Read / 75% Write
Drive Write Cache: Enabled
Total Cache Size: 1024 MB
Total Cache Memory Available: 912 MB
No-Battery Write Cache: Enabled
Cache Backup Power Source: Capacitors
Battery/Capacitor Count: 1
Battery/Capacitor Status: OK
SATA NCQ Supported: True