В течение длительного периода времени у меня возникают проблемы с производительностью на CentOS серверы, которые используются для KVM виртуализация.
Я использую программное обеспечение RAID-10 с 4 дисками (Seagate ST2000DM001, 2TB, 7200rpm SATA-600) Эти KVM ВМ работают на собственном LV.
После установки нескольких виртуальных машин производительность продолжает падать с каждой добавленной виртуальной машиной.
Сейчас установка занимает около 3 часов Debian 7 minimal. В пустом ящике без виртуальных машин это займет максимум несколько минут.
Странно то, что даже с 37 виртуальными машинами дискового ввода-вывода практически нет. Но каждый ввод-вывод, который необходимо выполнить в этот момент, приносит "dm" устройства относительно этого удельного объема LV до 100%.
Почему-то похоже "dm-xx" устройства не могут использовать все диски.
Ниже приведен пример того, что я имею в виду. В sd[a/b/c/d] Обычно во время этой проблемы загружены от 40 до 60%, но одно или несколько устройств dm имеют высокую нагрузку без каких-либо серьезных операций ввода-вывода.
Обратите внимание, что %util для конкретных dm-0, которые используются виртуальными машинами.
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util
sdb 10.00 0.00 5.00 36.00 256.00 424.00 33.17 0.86 20.73 11.02 45.20
sdd 0.00 1.00 0.00 48.00 0.00 389.00 16.21 0.85 17.71 10.90 52.30
sda 0.00 0.00 2.00 39.00 32.00 161.00 9.41 0.77 18.63 11.44 46.90
sdc 0.00 1.00 0.00 50.00 0.00 764.00 30.56 1.59 47.08 13.90 69.50
md1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md3 0.00 0.00 18.00 68.00 288.00 813.00 25.60 0.00 0.00 0.00 0.00
dm-0 0.00 0.00 0.00 6.00 0.00 40.00 13.33 0.31 51.50 51.17 30.70
dm-1 0.00 0.00 0.00 7.00 0.00 72.00 20.57 0.74 49.43 99.14 69.40
dm-2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-3 0.00 0.00 16.00 0.00 256.00 0.00 32.00 0.96 59.69 8.38 13.40
dm-4 0.00 0.00 0.00 8.00 0.00 68.00 17.00 0.28 34.62 31.25 25.00
dm-5 0.00 0.00 0.00 4.00 0.00 156.00 78.00 0.05 12.00 12.00 4.80
dm-6 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-7 0.00 0.00 0.00 4.00 0.00 20.00 10.00 0.08 19.00 6.75 2.70
dm-8 0.00 0.00 0.00 3.00 0.00 4.00 2.67 0.54 258.33 154.00 46.20
dm-9 0.00 0.00 0.00 5.00 0.00 148.00 59.20 0.10 19.40 19.40 9.70
dm-10 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-11 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-12 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-13 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-14 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-15 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-16 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-17 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-18 0.00 0.00 2.00 0.00 32.00 0.00 32.00 0.03 12.50 6.50 1.30
dm-19 0.00 0.00 0.00 2.00 0.00 12.00 12.00 0.03 13.00 6.50 1.30
dm-20 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-21 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-22 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-23 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-24 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-25 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-26 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-27 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.11 294.00 110.00 11.00
dm-28 0.00 0.00 0.00 3.00 0.00 16.00 10.67 0.10 50.33 25.00 7.50
dm-29 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-30 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-31 0.00 0.00 0.00 4.00 0.00 12.00 6.00 0.56 140.25 140.25 56.10
dm-32 0.00 0.00 0.00 6.00 0.00 32.00 10.67 0.76 125.83 125.83 75.50
dm-33 0.00 0.00 0.00 4.00 0.00 12.00 6.00 0.21 53.00 53.00 21.20
dm-34 0.00 0.00 0.00 3.00 0.00 4.00 2.67 0.40 172.33 133.33 40.00
dm-35 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-36 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-37 0.00 0.00 0.00 9.00 0.00 217.00 48.22 1.09 135.33 111.00 99.90
=================================
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util
sdb 0.00 0.00 0.00 7.00 0.00 72.00 20.57 3.84 430.14 126.00 88.20
sdd 10.00 0.00 4.00 13.00 240.00 304.00 64.00 2.07 126.59 33.00 56.10
sda 0.00 1.00 1.00 11.00 16.00 320.00 56.00 0.25 20.42 8.83 10.60
sdc 0.00 0.00 2.00 7.00 32.00 96.00 28.44 0.13 14.89 13.78 12.40
md1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md3 0.00 0.00 18.00 17.00 288.00 416.00 40.23 0.00 0.00 0.00 0.00
dm-0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-3 0.00 0.00 13.00 0.00 208.00 0.00 32.00 3.66 281.85 21.69 28.20
dm-4 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-5 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-6 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-7 0.00 0.00 0.00 5.00 0.00 92.00 36.80 1.84 179.40 189.80 94.90
dm-8 0.00 0.00 0.00 1.00 0.00 4.00 8.00 1.00 655.00 1000.00 100.00
dm-9 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-10 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-11 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-12 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-13 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-14 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-15 0.00 0.00 0.00 1.00 0.00 0.00 0.00 1.44 1512.00 1000.00 100.00
dm-16 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-17 0.00 0.00 0.00 3.00 0.00 16.00 10.67 0.56 6.00 187.67 56.30
dm-18 0.00 0.00 5.00 0.00 80.00 0.00 32.00 0.37 73.40 71.40 35.70
dm-19 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-20 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-21 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-22 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-23 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-24 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-25 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-26 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-27 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.44 0.00 0.00 43.80
dm-28 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-29 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-30 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-31 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-32 0.00 0.00 0.00 1.00 0.00 4.00 8.00 0.00 1.00 1.00 0.10
dm-33 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-34 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-35 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-36 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-37 0.00 0.00 0.00 7.00 0.00 300.00 85.71 2.00 101.00 142.86 100.00
=================================
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util
sdb 1.00 1.00 1.00 47.00 48.00 676.00 30.17 1.47 30.62 11.65 55.90
sdd 1.00 0.00 9.00 88.00 176.00 395.00 11.77 0.83 8.59 5.12 49.70
sda 0.00 0.00 0.00 50.00 0.00 541.50 21.66 0.83 16.54 11.22 56.10
sdc 1.00 0.00 6.00 87.00 112.00 533.50 13.88 0.87 9.42 4.37 40.60
md1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md3 0.00 0.00 21.00 116.00 336.00 991.00 19.37 0.00 0.00 0.00 0.00
dm-0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-3 0.00 0.00 4.00 0.00 64.00 0.00 32.00 0.00 0.00 0.00 0.00
dm-4 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-5 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-6 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-7 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-8 0.00 0.00 0.00 82.00 0.00 848.00 20.68 1.46 17.93 6.29 51.60
dm-9 0.00 0.00 0.00 3.00 0.00 16.00 10.67 0.03 11.33 11.33 3.40
dm-10 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-11 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-12 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-13 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-14 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-15 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-16 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-17 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-18 0.00 0.00 17.00 0.00 272.00 0.00 32.00 0.49 28.59 10.35 17.60
dm-19 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-20 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-21 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-22 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-23 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-24 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-25 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-26 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-27 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-28 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-29 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-30 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-31 0.00 0.00 0.00 5.00 0.00 16.00 6.40 0.13 26.00 26.00 13.00
dm-32 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-33 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-34 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-35 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-36 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-37 0.00 0.00 0.00 27.00 0.00 111.00 8.22 1.15 42.41 37.00 99.90
Другой пример :
Импорт файла SQL размером 2 МБ занимает 15+ минут, если это делается на случайной виртуальной машине. Ввод-вывод для этого LV идет на 100%, пока не будет завершен. У него будет всего пара операций записи в секунду и всего несколько КБ / с операций ввода-вывода.
Даже при такой нагрузке скорость записи с dd составляет от 80 МБ / с до 160 МБ / с. Но чтение ужасное и в большинстве случаев не превышает 10 МБ / с.
Вот как выглядят мои настройки RAID. Этот блок работает с макетом «o2», но не показывает никаких различий с макетом по умолчанию «n2».
# cat /proc/mdstat
Personalities : [raid10] [raid1]
md3 : active raid10 sdb5[4] sdc5[2] sdd5[3] sda5[0]
3872954368 blocks super 1.2 512K chunks 2 offset-copies [4/4] [UUUU]
md0 : active raid1 sdb1[4] sdc1[2] sdd1[3] sda1[0]
255988 blocks super 1.0 [4/4] [UUUU]
md2 : active raid10 sdb2[1] sdc2[2] sda2[0] sdd2[3]
31454208 blocks super 1.1 512K chunks 2 near-copies [4/4] [UUUU]
bitmap: 1/1 pages [4KB], 65536KB chunk
md1 : active raid10 sdb3[4] sda3[0] sdc3[2] sdd3[3]
2096128 blocks super 1.1 512K chunks 2 near-copies [4/4] [UUUU]
Вот как отдельные диски (например, sda) и LV разделяются каждой виртуальной машиной. Должно быть нормально для дисков 4K.
Disk /dev/sda: 2000.4 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders, total 3907029168 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk identifier: 0x000648b7
Device Boot Start End Blocks Id System
/dev/sda1 * 2048 514047 256000 fd Linux raid autodetect
Partition 1 does not end on cylinder boundary.
/dev/sda2 514048 31971327 15728640 fd Linux raid autodetect
/dev/sda3 31971328 34068479 1048576 fd Linux raid autodetect
/dev/sda4 34068480 3907029167 1936480344 5 Extended
/dev/sda5 34070528 3907028991 1936479232 fd Linux raid autodetect
Disk /dev/mapper/raid10storage-kvm396_img: 75.2 GB, 75161927680 bytes
255 heads, 63 sectors/track, 9137 cylinders, total 146800640 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 524288 bytes / 2097152 bytes
Disk identifier: 0x000a613c
Device Boot Start End Blocks Id System
/dev/mapper/raid10storage-kvm396_imgp1 * 2048 145752063 72875008 83 Linux
/dev/mapper/raid10storage-kvm396_imgp2 145752064 146800639 524288 82 Linux swap / Solaris
я использую VirtIO на всех виртуальных машинах, а кеш установлен на "none". Пробовал разные настройки кеша, но это привело к еще худшей производительности.
У меня есть несколько других серверов, работающих для установки smapper (меньше виртуальных машин), но с дисками того же типа в RAID-1 (2 диска) без проблем.
Кажется, это действительно связано с RAID-10 настройки.
У меня сейчас 4 таких RAID10 коробки в использовании, и все с различными конфигурациями процессора и материнской платы. Но все они имеют одну и ту же ужасную проблему с производительностью.
Есть ли у кого-нибудь идея или теория, которая могла бы объяснить, почему эта установка работает так ужасно медленно?
Теперь это действительно работает, и меня очень расстраивает то, что я все еще не нашел причину через год ... :(
РЕДАКТИРОВАТЬ - характеристики сервера и использование ЦП:
У всех этих коробок разные процессоры, но вот несколько конфигураций:
А вот выход из topс использованием одного LV @ 100% и нескольких других от 30% до 60%.
Средняя загрузка в данный момент довольно низкая, но вполне нормально видеть их между 10.00 и 30.00 в зависимости от того, сколько LV имеют 100% загрузку ввода-вывода.
ЦП на самом деле не загружен и всегда простаивает не менее 30%.
top - 02:26:21 up 8 days, 11:34, 2 users, load average: 3.48, 3.99, 3.83
Tasks: 244 total, 2 running, 242 sleeping, 0 stopped, 0 zombie
Cpu(s): 15.3%us, 9.7%sy, 0.0%ni, 62.8%id, 11.4%wa, 0.0%hi, 0.8%si, 0.0%st
Mem: 33001640k total, 23715816k used, 9285824k free, 10740k buffers
Swap: 2096124k total, 0k used, 2096124k free, 1159788k cached
В %wa нагрузка в некоторые моменты составляет даже 50%, но обычно это происходит только тогда, когда 5 или более LV постоянно касаются 100% нагрузки.
Даже при 5 или более LV, работающих на 100%, нет ни одного диска SATA, который действительно загружал бы 90% +. Все они имеют загрузку от 40% до 60%.
РЕДАКТИРОВАТЬ 2, 18 февраля 2014 г .;
Сегодня я решил построить еще один узел VPS, чтобы провести дополнительное тестирование. Эта система использует ту же настройку (панель управления KVM + SolusVM), что и все остальные. Эта тестовая установка использует следующее оборудование:
Intel Core i7 2600
32GB memory
4x WD Black 1.5TB (WD1502FAEX), 7200rpm, 64MB cache, SATA600
2x Samsung 830 Pro 128GB SSD's
So basically a completely different storage layer.
ОС: CentOS 6.5 + все последние обновления. Стандартное ядро, но попробовало и последнее основное ядро (3.13), что не повлияло на производительность.
Создал массив RAID-10 (макет n2, блоки 512K, стоковая конфигурация с растровыми изображениями) на дисках WD Black. Создал массив RAID-0 на SSD-дисках, который будет использоваться flashcache. Эта настройка настроена таким образом, что весь ввод-вывод LVM проходит через flashcache (как кэш со сквозной записью). И SATA, и SSD-диски имеют старые 512 секторов, поэтому расширенного формата нет. Я выбрал эти диски, чтобы посмотреть, есть ли разница между ними и дисками расширенного формата, которые я использую большую часть времени. Но я разделил их как диски 4K.
Я начал с некоторых тестов на хост-узле. Я создал пустой том LV. Во время выполнения тестов чтения с DD у меня были следующие результаты чтения на хосте:
Что ж, эти результаты выглядят неплохо!
Теперь те же тесты, но на ВМ с памятью 4 ГБ, VirtIO и 'cache = none'. Я загрузил Live DVD с Ubuntu и проделал те же тесты ... с ужасными результатами:
Во время теста устройство «dm-x» (LV тестовой ВМ) было загружено до 95% +, в то время как отдельные диски SATA не превышали 35%. То же самое и с SSD. Ни одно устройство в любой момент не использовало более 50%.
Вот результат максимальной нагрузки, о которой я когда-либо упоминал, для этой установки. Это было во время некэшированного теста (который объясняет записи на SSD):
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util
sda 0.00 0.00 361.00 2547.00 1444.00 10188.00 8.00 0.62 0.21 0.03 8.90
sdc 992.00 1.00 246.00 7.00 4932.00 14.50 39.10 0.87 3.43 2.16 54.60
sdb 0.00 0.00 303.00 1754.00 1212.00 7016.00 8.00 0.41 0.20 0.03 5.80
sdd 825.00 1.00 173.00 7.00 3992.00 14.50 44.52 0.60 3.34 2.56 46.00
sde 866.00 25.00 229.00 11.00 4404.00 130.00 37.78 0.85 3.50 2.23 53.40
sdf 771.00 25.00 163.00 11.00 3736.00 130.00 44.44 0.65 3.72 2.98 51.80
md2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md3 0.00 0.00 663.00 4301.00 2652.00 17204.00 8.00 0.00 0.00 0.00 0.00
md0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md4 0.00 0.00 4266.00 36.00 17064.00 140.50 8.00 0.00 0.00 0.00 0.00
dm-0 0.00 0.00 4929.00 36.00 19716.00 140.50 8.00 14.56 2.92 0.20 99.60
dm-1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-2 0.00 0.00 4929.00 36.00 19716.00 140.50 8.00 14.56 2.92 0.20 99.60
(dm-0 - это flashcache, dm-2 - гость)
Чтобы убедиться, что уровень flashcache не разрушает всю производительность, я снова провел те же тесты с отключенным flashcache (dm-0) и получил почти такую же ужасную производительность 90-100 МБ / с внутри гостевой системы.
Так что по какой-то причине все спектакли пропали внутри гостя. Я получил эти результаты в гостевой системе Windows и Linux. Все с использованием VirtIO и кеширования не установлено. При использовании IDE производительность падает еще больше.
На самом деле установка одного диска или RAID1 с той же конфигурацией flashcache работает намного лучше, чем все установки MDADM RAID-10 @ KVM, которые я использовал до сих пор. MDADM RAID-10 отлично работает на хосте, но внутри гостя он ужасен.
Прямо сейчас я создаю новый массив raid-10, но со смещенной компоновкой. Но я бы не ожидал лучшей производительности, так как сам RAID-диск загружен не полностью - 100% используются только отдельные тома LV "dm-x".
Я до сих пор не могу поверить, почему эти настройки RAID-10 + LVM + KVM ужасно медленные :( Довольно неприятно.
Вы не дали нам никаких подробностей о том, как вы используете LVM в своей настройке. Если ваша проблема связана с чтениями, их может быть два источника.
Прежде всего, проверьте, не используете ли вы снимки LVM, поскольку они могут (в долгосрочной перспективе) резко замедлить ввод-вывод по мере их роста.
Во-вторых, в вашем топе указано, что ваш гипервизор использует только 1 ГБ ОЗУ для кешей ввода-вывода, что на самом деле не так много, хотя у вас все еще есть 10 ГБ ОЗУ совершенно бесплатно. Это говорит о том, что вы настроили параметры ядра в отношении кешей и, возможно, снизили производительность, пытаясь улучшить ситуацию. В качестве примера, вот использование памяти (МБ) одного из моих гипервизоров с 24 виртуальными машинами с KVM:
total used free shared buffers cached
Mem: 129153 109117 20036 0 588 26664
-/+ buffers/cache: 81865 47288
Swap: 4095 0 4095
Как видите, кэши ввода-вывода используют половину свободной оперативной памяти.