В настоящее время у меня есть большие узлы KVM, использующие от 8 до 16 массивов RAID10 и аппаратный рейд. Обычно мы выделяем один большой том (резервные копии виртуальных машин также создаются за пределами площадки).
KVM VM с использованием томов LVM
В настоящее время на наших 16 дисковых массивах скорость последовательной записи составляет от 500 МБ / с до 1,3 ГБ / с при размере файла dd и 512-2048 на уровне виртуальной машины. Уровень хоста соответствует 1,4 ГБ / с, что вычисляет скорость записи. скорости реальных дисков, похоже, превышают сами диски.
Аппаратные рейдовые карты имеют на борту 2 ГБ оперативной памяти для кэширования.
///
Чтобы уточнить, нет никаких проблем с производительностью с точки зрения дискового ввода-вывода (почти нет ожидания io с примерно 15-20 виртуальными машинами)
Мы изучаем возможность добавления карт PCIe SSD для кэширования, но в идеале хотели бы иметь возможность реализовать это в новых системах, а также в существующих системах.
Мы могли бы пойти по пути LSI и cachecade - тут и ежу понятно. Мы также могли бы сделать все SSD, без труда, однако мы хотели бы реализовать в дополнение к большим массивам sata и в идеале хотели бы использовать PCIe, поскольку для этого не требуются дополнительные отсеки.
Любые указания о том, как это сделать? Кажется, там не так много информации, и многие веб-сайты поставщиков ужасно описывают, как на самом деле работают их продукты.
Также помните о накладных расходах ЦП, которые могут быть вызваны программным решением для кэширования. Поскольку он должен хранить карты горячих блоков данных в памяти. Также это будет зависеть от хост-системы.
Можно попробовать использовать гибридные SHDD, чтобы сделать его независимым от устройства / системы.
Я думаю, что лучшим вариантом было бы использовать один-два SSD для кэширования, контролируемого рейд-контроллером, и отдельный выделенный PCIe для произвольно считываемых данных.
Также убедитесь, что noatime / nodiratime установлено для всех систем хоста / виртуальной машины. Структуры каталогов больше всего выигрывают от дублирования во флеш-память, но флеш-память ненавидит небольшие записи ...