Я ищу установку iscsi, состоящую из массивов raid, управляемых контроллером HP P400. 2 пары дисков, каждая из которых является зеркальной, плюс 4 диска в конфигурации raid 10, все sas-диски 7200 об / мин.
Диски содержат тома vmfs3, экспортированные через iscsi на несколько хостов vmware esxi.
Ниже приведен пример команды iostat -xm 1, запущенной на машине хранения: Устройство:
rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
cciss/c0d0 0,00 0,00 0,00 0,00 0,00 0,00 0,00 8,34 0,00 0,00 100,00
cciss/c0d1 0,00 0,00 0,00 1,00 0,00 0,00 8,00 8,54 1760,00 1000,00 100,00
cciss/c0d2 0,00 0,00 6,00 45,00 0,14 0,64 31,57 89,71 1747,45 19,61 100,00
avg-cpu: %user %nice %system %iowait %steal %idle
0,00 0,00 0,45 0,00 0,00 99,55
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
cciss/c0d0 0,00 0,00 0,00 0,00 0,00 0,00 0,00 10,00 0,00 0,00 100,00
cciss/c0d1 0,00 0,00 0,00 0,00 0,00 0,00 0,00 9,95 0,00 0,00 100,00
cciss/c0d2 0,00 0,00 0,00 4,00 0,00 0,04 22,00 91,00 2325,00 250,00 100,00
avg-cpu: %user %nice %system %iowait %steal %idle
0,00 0,00 0,25 0,00 0,00 99,75
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
cciss/c0d0 0,00 0,00 0,00 0,00 0,00 0,00 0,00 10,00 0,00 0,00 100,00
cciss/c0d1 0,00 0,00 0,00 0,00 0,00 0,00 0,00 10,00 0,00 0,00 100,00
cciss/c0d2 0,00 0,00 1,00 9,00 0,00 0,04 8,90 90,90 2776,00 100,00 100,00
avg-cpu: %user %nice %system %iowait %steal %idle
0,25 0,00 0,00 0,00 0,00 99,75
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
cciss/c0d0 0,00 0,00 0,00 4,00 0,00 0,01 6,25 8,80 3890,00 250,00 100,00
cciss/c0d1 0,00 0,00 2,00 5,00 0,01 0,04 13,71 9,68 3982,86 142,86 100,00
cciss/c0d2 0,00 1,00 0,00 27,00 0,00 1,14 86,81 91,82 4147,04 37,04 100,00
avg-cpu: %user %nice %system %iowait %steal %idle
0,25 0,00 0,50 0,00 0,00 99,26
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
cciss/c0d0 0,00 0,00 0,00 5,00 0,00 0,07 30,60 2,92 3946,00 200,00 100,00
cciss/c0d1 0,00 0,00 1,00 1,00 0,00 0,00 8,00 6,29 3995,00 500,00 100,00
cciss/c0d2 0,00 1,00 0,00 15,00 0,00 0,52 70,93 106,73 4271,33 66,67 100,00
avg-cpu: %user %nice %system %iowait %steal %idle
0,00 0,00 0,25 0,00 0,00 99,75
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
cciss/c0d0 0,00 0,00 0,00 1,00 0,00 0,01 16,00 1,80 4940,00 1000,00 100,00
cciss/c0d1 0,00 0,00 0,00 0,00 0,00 0,00 0,00 6,00 0,00 0,00 100,00
cciss/c0d2 0,00 0,00 4,00 11,00 0,02 0,34 49,07 106,21 5011,33 66,67 100,00
avg-cpu: %user %nice %system %iowait %steal %idle
0,24 0,00 0,00 0,00 0,00 99,76
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
cciss/c0d0 0,00 0,00 0,00 0,00 0,00 0,00 0,00 2,00 0,00 0,00 100,00
cciss/c0d1 0,00 0,00 0,00 0,00 0,00 0,00 0,00 6,00 0,00 0,00 100,00
cciss/c0d2 0,00 0,00 1,00 4,00 0,01 0,02 9,60 103,27 5876,00 200,00 100,00
avg-cpu: %user %nice %system %iowait %steal %idle
0,51 0,00 0,00 0,00 0,00 99,49
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
cciss/c0d0 0,00 0,00 0,00 0,00 0,00 0,00 0,00 2,00 0,00 0,00 100,00
cciss/c0d1 0,00 0,00 0,00 0,00 0,00 0,00 0,00 6,00 0,00 0,00 100,00
cciss/c0d2 0,00 0,00 1,00 16,00 0,01 0,64 78,18 105,78 6313,53 58,82 100,00
avg-cpu: %user %nice %system %iowait %steal %idle
0,00 0,00 0,24 0,00 0,00 99,76
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
cciss/c0d0 0,00 0,00 0,00 1,00 0,00 0,00 1,00 1,78 5180,00 1000,00 100,00
cciss/c0d1 0,00 0,00 0,00 4,00 0,00 0,01 6,50 8,72 5430,00 250,00 100,00
cciss/c0d2 0,00 0,00 0,00 28,00 0,00 0,47 34,07 106,16 5791,79 35,71 100,00
avg-cpu: %user %nice %system %iowait %steal %idle
0,00 0,00 2,72 0,00 0,00 97,28
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
cciss/c0d0 0,00 0,00 0,00 23,00 0,00 0,30 26,87 1,79 218,26 39,57 91,00
cciss/c0d1 0,00 0,00 9,00 59,00 0,04 0,41 13,47 9,78 361,47 14,26 97,00
cciss/c0d2 0,00 11,00 31,00 714,00 0,33 18,96 53,03 94,85 526,35 1,34 100,00
avg-cpu: %user %nice %system %iowait %steal %idle
0,25 0,00 4,90 1,23 0,00 93,63
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
cciss/c0d0 0,00 0,00 0,00 6,00 0,00 0,16 54,00 0,45 101,67 38,33 23,00
cciss/c0d1 0,00 0,00 151,00 4,00 0,59 0,07 8,73 1,16 7,35 4,77 74,00
cciss/c0d2 0,00 19,00 79,00 917,00 1,51 30,18 65,16 45,22 31,22 1,00 100,00
avg-cpu: %user %nice %system %iowait %steal %idle
0,00 0,00 0,49 0,00 0,00 99,51
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
cciss/c0d0 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,76 0,00 0,00 76,00
cciss/c0d1 0,00 0,00 0,00 0,00 0,00 0,00 0,00 4,00 0,00 0,00 100,00
cciss/c0d2 0,00 1,00 2,00 45,00 0,07 1,73 78,30 95,52 624,47 21,28 100,00
avg-cpu: %user %nice %system %iowait %steal %idle
0,00 0,00 6,80 0,00 0,00 93,20
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
cciss/c0d0 0,00 0,00 0,00 4,00 0,00 0,08 38,50 2,35 797,50 245,00 98,00
cciss/c0d1 0,00 0,00 5,00 26,00 0,02 0,15 11,45 18,82 2227,74 31,94 99,00
cciss/c0d2 0,00 6,00 2,00 21,00 0,01 0,61 55,39 7,27 2031,74 43,04 99,00
avg-cpu: %user %nice %system %iowait %steal %idle
0,00 0,00 0,52 0,00 0,00 99,48
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
cciss/c0d0 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00
cciss/c0d1 0,00 0,00 1,00 0,00 0,00 0,00 8,00 1,70 60,00 1000,00 100,00
cciss/c0d2 0,00 4,00 1,00 42,00 0,01 2,30 109,95 78,00 326,51 23,26 100,00
avg-cpu: %user %nice %system %iowait %steal %idle
0,00 0,00 2,13 0,00 0,00 97,87
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
cciss/c0d0 0,00 0,00 0,00 2,00 0,00 0,02 16,50 0,00 0,00 0,00 0,00
cciss/c0d1 0,00 0,00 188,00 2,00 0,73 0,00 7,96 2,51 14,84 4,68 89,00
cciss/c0d2 0,00 19,00 23,00 263,00 0,12 9,81 71,12 61,14 358,22 2,94 84,00
avg-cpu: %user %nice %system %iowait %steal %idle
0,00 0,00 0,25 0,00 0,00 99,75
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
cciss/c0d0 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,59 0,00 0,00 59,00
cciss/c0d1 0,00 0,00 1,00 2,00 0,00 0,02 13,33 5,89 500,00 333,33 100,00
cciss/c0d2 0,00 5,00 1,00 32,00 0,00 1,81 112,73 104,74 646,06 30,30 100,00
avg-cpu: %user %nice %system %iowait %steal %idle
0,50 0,00 0,50 0,00 0,00 99,00
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
cciss/c0d0 0,00 0,00 0,00 0,00 0,00 0,00 0,00 1,96 0,00 0,00 100,00
cciss/c0d1 0,00 0,00 0,00 2,00 0,00 0,01 8,00 7,06 2015,00 500,00 100,00
cciss/c0d2 0,00 0,00 1,00 16,00 0,00 0,88 105,88 107,45 1802,35 58,82 100,00
avg-cpu: %user %nice %system %iowait %steal %idle
0,00 0,00 0,24 0,00 0,00 99,76
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
cciss/c0d0 0,00 0,00 0,00 0,00 0,00 0,00 0,00 2,75 0,00 0,00 100,00
cciss/c0d1 0,00 0,00 0,00 0,00 0,00 0,00 0,00 8,37 0,00 0,00 100,00
cciss/c0d2 0,00 0,00 0,00 12,00 0,00 0,54 92,67 104,39 2697,50 83,33 100,00
avg-cpu: %user %nice %system %iowait %steal %idle
0,00 0,00 1,47 0,00 0,00 98,53
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
cciss/c0d0 0,00 0,00 0,00 19,00 0,00 0,15 16,47 10,76 814,74 52,63 100,00
cciss/c0d1 0,00 0,00 1,00 11,00 0,00 0,07 12,42 8,66 2084,17 83,33 100,00
cciss/c0d2 0,00 13,00 3,00 178,00 0,03 9,86 111,92 108,70 1913,43 5,52 100,00
avg-cpu: %user %nice %system %iowait %steal %idle
0,24 0,00 1,90 0,00 0,00 97,86
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
cciss/c0d0 0,00 0,00 0,00 36,00 0,00 0,20 11,58 1,53 58,61 14,72 53,00
cciss/c0d1 0,00 0,00 6,00 11,00 0,02 0,06 10,41 2,08 167,65 58,24 99,00
cciss/c0d2 0,00 11,00 34,00 673,00 0,30 15,90 46,95 89,14 149,72 1,41 100,00
avg-cpu: %user %nice %system %iowait %steal %idle
0,50 0,00 2,73 0,00 0,00 96,77
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
cciss/c0d0 0,00 0,00 0,00 1,00 0,00 0,00 1,00 0,08 80,00 80,00 8,00
cciss/c0d1 0,00 0,00 189,00 3,00 0,74 0,01 7,96 0,75 3,96 3,54 68,00
cciss/c0d2 1,00 28,00 198,00 904,00 5,24 28,98 63,60 32,31 28,12 0,91 100,00
cciss / c0d0 - это четыре диска по 1 ТБ в raid10, cciss / c0d1 - зеркало на 500 ГБ, cciss / c0d2 - зеркало 2 ТБ.
100% -ное использование, почти полное отсутствие транзакций, очень высокий уровень await и svctm в аналогичных условиях и т. Д. Вдобавок к этому инструменту управления контроллером hpacucli может потребоваться до 40 секунд, чтобы вернуть простой вывод состояния о контроллере.
Вывод vmstat относительно использования памяти и других параметров также выглядит отлично.
Я сейчас в тупике. Какие-либо предложения?
Умм. Похоже, что устранение проблемного диска решило проблему. Все равно спасибо.