В настоящее время у нас есть несколько установок Amazon AWS c3.large, и я пытаюсь выяснить, в чем проблема. В наши пиковые периоды нагрузка на большинство из них очень высока.
Похоже, загрузка диска высокая, так как iostat большую часть времени имеет значение 100 по отношению к% util (последний столбец):
iostat -x 1 Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s avgrq-sz avgqu-sz await svctm %util xvdap1 0.00
0.00 0.00 68.00 0.00 16712.00 245.76 137.40 1924.29 14.71 100.00
avg-cpu: %user %nice %system %iowait %steal %idle
0.51 0.00 6.06 93.43 0.00 0.00
Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s avgrq-sz avgqu-sz await svctm %util xvdap1 0.00
0.00 0.00 69.00 0.00 16560.00 240.00 136.34 1895.94 14.49 100.00
Можно подумать, что IOPS, используемого с SSD общего назначения на 64 ГБ, может быть недостаточно (192 IOPS).
Хотя при просмотре tps (IOPS) в среднем около 70-80. Так что вроде достаточно. Но я действительно замечаю некоторые случайные высокие всплески намного выше этого. Думаю, это тоже не должно быть проблемой, так как всплесков до 3000.
sar -b 1
Linux 3.14.35-28.38.amzn1.x86_64 (ip-10-167-69-88) 03/04/2016 _x86_64_ (2 CPU)
09:08:35 PM tps rtps wtps bread/s bwrtn/s
09:08:36 PM 78.12 1.04 77.08 8.33 16700.00
09:08:37 PM 73.74 0.00 73.74 0.00 16880.81
09:08:38 PM 76.77 1.01 75.76 8.08 16452.53
09:08:39 PM 68.69 0.00 68.69 0.00 16678.79
09:08:40 PM 72.92 0.00 72.92 0.00 17250.00
09:08:41 PM 72.04 0.00 72.04 0.00 17677.42
09:08:42 PM 144.68 0.00 144.68 0.00 9480.85
09:08:43 PM 141.05 0.00 141.05 0.00 9574.74
09:08:44 PM 97.98 0.00 97.98 0.00 13664.65
09:08:45 PM 185.26 0.00 185.26 0.00 4244.21
09:08:46 PM 96.91 0.00 96.91 0.00 14564.95
09:08:47 PM 68.32 0.00 68.32 0.00 16324.75
09:08:48 PM 66.67 0.00 66.67 0.00 16703.03
Как вы думаете, проблема в количестве выделенных операций ввода-вывода в секунду, или мне стоит посмотреть на что-нибудь еще?
Ваша подсистема ввода-вывода (она же диски) - ваша проблема. Ваша система тратит огромный время ожидания выполнения запросов ввода-вывода. Я обычно начинаю искать обновления, когда мои системы достигают ~ 5% iowait. Излишне говорить, что вы намного выше этого.
Вам необходимо увеличить количество операций ввода-вывода в секунду, доступных вашей системе. Ваш первый вариант - перейти на том EBS PIOPS (Provisioned IOPS), если вы его еще не используете. После этого увеличивайте значение IOPS, пока не получите нужную производительность.