У меня есть сервер от hetzner.de (EQ4) с 2 дисками SAMSUNG HD753LJ (кэш 750 ГБ 32 МБ).
ОС - CentOS 5 (x86_64). Диски объединены в два раздела RAID1:
Я провел несколько тестов, и мне кажется, что, несмотря на одинаковые диски, скорость на каждом из них немного различается.
# hdparm -tT /dev/sda
/dev/sda: Timing cached reads: 25612 MB in 1.99 seconds = 12860.70 MB/sec Timing buffered disk reads: 352 MB in 3.01 seconds = 116.80 MB/sec
# hdparm -tT /dev/sdb
/dev/sdb: Timing cached reads: 25524 MB in 1.99 seconds = 12815.99 MB/sec Timing buffered disk reads: 342 MB in 3.01 seconds = 113.64 MB/sec
Кроме того, когда я бегу, например. pgbench, который довольно сильно нагружает ввод-вывод, я вижу следующее из вывода iostat:
Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s avgrq-sz avgqu-sz await svctm %util
sda 0.00 231.40 0.00 298.00 0.00 9683.20 32.49 0.17 0.58 0.34 10.24
sda1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda2 0.00 231.40 0.00 298.00 0.00 9683.20 32.49 0.17 0.58 0.34 10.24
sdb 0.00 231.40 0.00 301.80 0.00 9740.80 32.28 14.19 51.17 3.10 93.68
sdb1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sdb2 0.00 231.40 0.00 301.80 0.00 9740.80 32.28 14.19 51.17 3.10 93.68
md1 0.00 0.00 0.00 529.60 0.00 9692.80 18.30 0.00 0.00 0.00 0.00
md0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-0 0.00 0.00 0.00 0.60 0.00 4.80 8.00 0.00 0.00 0.00 0.00
dm-1 0.00 0.00 0.00 529.00 0.00 9688.00 18.31 24.51 49.91 1.81 95.92
Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s avgrq-sz avgqu-sz await svctm %util
sda 0.00 152.40 0.00 330.60 0.00 5176.00 15.66 0.19 0.57 0.19 6.24
sda1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda2 0.00 152.40 0.00 330.60 0.00 5176.00 15.66 0.19 0.57 0.19 6.24
sdb 0.00 152.40 0.00 326.20 0.00 5118.40 15.69 19.96 55.36 3.01 98.16
sdb1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sdb2 0.00 152.40 0.00 326.20 0.00 5118.40 15.69 19.96 55.36 3.01 98.16
md1 0.00 0.00 0.00 482.80 0.00 5166.40 10.70 0.00 0.00 0.00 0.00
md0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-1 0.00 0.00 0.00 482.80 0.00 5166.40 10.70 30.19 56.92 2.05 99.04
Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s avgrq-sz avgqu-sz await svctm %util
sda 0.00 181.64 0.00 324.55 0.00 5445.11 16.78 0.15 0.45 0.21 6.87
sda1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda2 0.00 181.64 0.00 324.55 0.00 5445.11 16.78 0.15 0.45 0.21 6.87
sdb 0.00 181.84 0.00 328.54 0.00 5493.01 16.72 18.34 61.57 3.01 99.00
sdb1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sdb2 0.00 181.84 0.00 328.54 0.00 5493.01 16.72 18.34 61.57 3.01 99.00
md1 0.00 0.00 0.00 506.39 0.00 5477.05 10.82 0.00 0.00 0.00 0.00
md0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-1 0.00 0.00 0.00 506.39 0.00 5477.05 10.82 28.77 62.15 1.96 99.00
И это меня совершенно сбивает с толку. Почему два совершенно одинаковых диска имеют такую разницу в скорости записи (см. Util%)? Раньше я особо не обращал внимания на эти скорости, так что, возможно, это что-то нормальное - если бы кто-нибудь мог подтвердить, я был бы очень благодарен.
В противном случае, если кто-то снова видел такое поведение или знает, что вызывает такое поведение, я был бы очень признателен за ответ.
Я также добавлю, что вывод «smartctl -a» и «hdparm -I» абсолютно одинаков и не указывает на какие-либо проблемы с оборудованием. Более медленный привод меняли уже два раза (на новые). Также я попросил поменять диски местами, и тогда sda были медленнее, а sdb быстрее (так что медленный был тот же диск). Кабели SATA меняли уже два раза.
Не могли бы вы попробовать bonnie++ эталонный инструмент? Вы должны запустить его с вдвое большим объемом памяти (например, для 1 ГБ):
bonnie++ -s $((2*1024))
Описание вашей проблемы заставляет меня думать, что это контроллер, который не может легко справиться с параллельной записью, которую делает программный RAID1. Используйте команду выше в следующих ситуациях. Чтобы проверить, верна ли эта гипотеза, выполните:
1) Отдельные тесты для каждого жесткого диска. Гипотеза гласит, что результаты будут аналогичными.
2) Протестируйте RAID1.
3) Одновременный тест на разных дисках. Гипотеза гласит, что он должен быть больше похож на 2), чем на 1).
Удачи,
Жуан Мигель Невеш
Я согласен с тем, что вы получаете несоответствие производительности между дисками: просто посмотрите на несоответствие в размерах очереди. Однако мы пока не знаем, виноваты ли сами диски или что-то выше по стеку. Пара экспериментов:
Создайте md3 с разделом из sdb в качестве первого элемента зеркала и раздела sda в качестве второго: посмотрите, следует ли за производительностью диска или программного RAID. (Это меня удивило бы, но, возможно, стоит сделать это перед вторым экспериментом, который требует (ну) физического доступа.)
Физически поменяйте местами подключения к sda и sdb. Если сейчас производительность изменится, вы должны винить свой дисковый контроллер.
Извините, я коснулся глаз в конце строк и также не понял, что вы писали о различиях в% использования двух дисков.
Нет, это ненормально, и после того, что вы сказали, я думаю, что проблема скорее всего в контроллере. Эти два канала настроены одинаково?
Я считаю, что ваши данные нормальные, они разные, но лишь на очень немногие%. Я видел значение этого типа на многих других парах аналогичных приводов.
Андреа
Я бы заподозрил рейд как часть этого наблюдения. Диски кажутся почти одинаковыми w / s и wsec / s. поскольку md raid реплицирует запись на два диска, подключенных к одному контроллеру, возможно, что передача данных по шине происходит только один раз, поэтому один диск может оказаться на крыше с точки зрения использования ЦП, а другой просто передает уже присутствует блок от контроллера. вы пробовали воспроизвести поведение без рейда мд?
Может быть, это из-за растрового изображения с намерением записи? Это вызывает замедление работы RAID-1.
Отключение растрового изображения с намерением записи увеличит скорость записи в RADI-1, но также увеличит время восстановления массива в случае сбоя.
Я работаю на хостинге, и в прошлом я видел похожие проблемы с огромным% использования диска при скоростях передачи данных, которые не должны превышать диск. Обычно, когда мы видим, что мы меняем диск на другой и RMA старый диск.
Свяжитесь со своим хостинг-провайдером и сообщите им, что у вас возникла эта проблема, и посмотрите, могут ли они заменить его другим диском, чтобы узнать, решит ли это проблему. Если нет, возможно, проблема в контроллере привода.
какой планировщик лифта вы используете? В зависимости от вашей рабочей нагрузки вы можете попробовать крайний срок по CFQ. В зависимости от ядра, возможно, оно было поставлено с включенным планировщиком Anticipatory, который, как я обнаружил, имел проблемы с наборами, сконструированными md.
Это может быть проблема iostat или внутренняя ошибка статистики ядра. Количество hdparm кажется немного большим, обзор обнаружил, что этот жесткий диск имеет скорость записи до 88 МБ / с. Также это может быть выключенный NCQ, проверьте вывод dmesg.
Настоящая проверка состоит в том, чтобы не бояться жестких дисков и запустить на каждом из них одни и те же тесты, например bonnie ++.