Мы создали пару зеркальных серверов GlusterFS. Никакой специальной настройки, что бы ни пришло «из коробки» с GlusterFS-3.5.1 в официальном RHEL6 RPM, это то, что у нас есть.
Кластер работает, но производительность ужасная. Например, при распаковке большого архива (firefox-31.0.source.tar.bz2) через GlusterFS на локальном хосте занимает здесь целых 44 минуты. Извлечение одного и того же файла напрямую - на тот же диск - занимает менее 2. Аналогичное несоответствие наблюдается при удалении созданных деревьев (через gluster занимает 10 минут) ...
Конечно, следует ожидать, что зеркалирование должно иметь место, и т.д., файловая система, использующая сеть, будет работать медленнее, но 30 раз помедленнее? Простое копирование большого файла происходит быстро - так что нам не хватает пропускной способности. Пока идет распаковка, я вижу как glusterfs (клиент) и glusterfsd (серверные) процессы потребляют много ЦП (около 10% каждый), но система остается на 70% простаивающей - оба gluster-процесса намного загружены, чем извлекающие bzip2 и tar ... Что они делают?
Есть ли какие-то настройки, которые я могу сделать, чтобы значительно улучшить производительность здесь? Или я должен попробовать цеф (или gfarm?) вместо блеска? Или все они ужасны с большим количеством маленьких файлов? Спасибо!
Gluster является ужасно при большом количестве маленьких файлов. По крайней мере, начиная с версии 3.6. Они утверждают, что уже выпущенная бета-версия 3.7 значительно решает эту проблему. Я думаю, что эта версия скоро будет выпущена как стабильная, поскольку бета-версия была выпущена 28 апреля, и они планировали выпустить стабильную версию в начале этого месяца.