Я настраиваю сервер FreeBSD, на котором размещен виртуальный ящик, обслуживающий полдюжины критически важных загруженных почтовых серверов. Я только что изучил ZFS, меня очень заинтересовало, но есть несколько вопросов:
какова нагрузка на ЦП ZFS? Я погуглил и нашел для этого мало (или не нашел) эталона.
из того, что я узнал, когда ZFS обновляет файлы, он сохраняет старый файл как моментальный снимок и записывает обновленную часть для новой версии. Однако это будет означать, что для каждого хранимого снимка потребуются значительные накладные расходы на хранилище. Каковы накладные расходы на хранилище? Например, предположим, что у меня есть полезное пространство 2 ТБ. Сколько места на самом деле можно использовать для последней версии файлов через год?
Является ли FreeBSD с ZFS хостингом virtualbox, обслуживающим полдюжины занятых гостевых критически важных почтовых серверов, разумной комбинацией? С чем нужно быть осторожным? И можно ли выбрать ZFS для гостевых ОС? Это связано с тем, что я могу построить еще один идентичный такой ящик для избыточности, и мне нужно будет сделать некоторое зеркальное отображение между каждой парой гостевых систем на всех ящиках.
Я пытаюсь настроить для этого Dell R710. Из того, что я узнал, мне вообще не следует выбирать какой-либо RAID, правда? В таком случае, будут ли диски по-прежнему доступны для горячей замены?
это может звучать немного жалко, но поскольку у меня вообще нет опыта работы с ZFS, а это критически важный сервер, просто спросите на всякий случай: я выбираю два процессора Intel L5630 и 6 x 600 ГБ 15K RPM Serial- Подключите диски SCSI. Если в будущем мне понадобится больше места, я бы просто заменил в горячем режиме некоторые драйверы большей емкости, чтобы расширить хранилище. С этим проблем нет, правда?
Я обращусь к # 3 здесь. Я не думаю, что VirtualBox + FreeBSD + ZFS - лучшее решение для того, что вы предлагаете (исходя из вашего использования «критически важных» и «занятых»).
Чего вы надеетесь достичь с помощью ZFS? Это отличная файловая система, и я определенно ее сторонник, но какую ценность она дает в данном случае? Снимки? Контрольная сумма? (лично мне потребовалось несколько попыток и много исследований, прежде чем я начал размещать важные приложения на ZFS).
Я понимаю, что вы новичок в ZFS, но каковы ваши впечатления от FreeBSD и VirtualBox?
Возникнут ли проблемы с запуском одного экземпляра почтового программного обеспечения и размещением внутри нескольких доменов, или вам нужна полная изоляция, обеспечиваемая виртуализацией?
Если вы все же решите использовать ZFS, вам не нужны традиционные контроллеры Perc RAID, но следует указать что-то, что передает диски RAW SAS в операционную систему. Видеть: Рекомендации по контроллеру ZFS SAS / SATA (Кстати, ваши диски по-прежнему поддерживают горячую замену.)
У меня есть опыт работы с ZFS в OpenSolaris на файловом сервере NFS 50 ТБ для HPC, поэтому я отвечу на ваши вопросы, исходя из этого.
Каковы накладные расходы ЦП ZFS?
Он очень маленький. Это будет варьироваться в зависимости от того, какие алгоритмы контрольной суммы и сжатия вы выберете, и если вы включите дедупликацию. У меня есть все 3 включения с параметрами по умолчанию, и мои 16 ядер редко используют более 15% каждое. Имейте в виду, что сжатие и дедупликация также уменьшают объем данных, которые вам нужно записать, поэтому в конечном итоге все происходит быстрее за счет незначительной загрузки ЦП. В наши дни процессоры чертовски быстры.
Из того, что я узнал, когда ZFS обновляет файлы, он сохраняет старый файл как снимок и записывает обновленную часть для новой версии. Однако это будет означать, что для каждого хранимого снимка потребуются значительные накладные расходы на хранилище. Каковы накладные расходы на хранилище? Например, предположим, что у меня есть 2 ТБ полезного пространства. Сколько места на самом деле можно использовать для последней версии файлов через год?
В снимках сохраняется только разница того, что было изменено. Вы только начинаете видеть, что снимки занимают место, если вы удаляете или изменяете существующие данные. Для почтового сервера, который хранит почту в виде обычного текста, это будет означать, что только удаленные электронные письма приведут к накладным расходам в моментальных снимках. Если у вас накопилось 1,5 ГБ (после сжатия ZFS) электронных писем и 0,5 ГБ были удалены с течением времени, вы сможете уместить все в zpool 2 ГБ независимо от того, сколько снимков вы сделали.
Наличие одного или нескольких снимков означает, что вы не сможете освободить место, удаляя файлы, но вы можете освободить место, удаляя снимки.
ZFS - это транзакционная файловая система, поэтому даже удаление моментального снимка потребует записи небольшого журнала на диск. Это означает, что если у вас 0 байт свободного места, вы не можете удалить. Однажды я вот так застрял. Поэтому позаботьтесь о том, чтобы установить квоту на дисковое пространство (скажем, 99% вашего zpool), чтобы, когда у вас закончится место, вы действительно могли удалить что-то.
Является ли FreeBSD с ZFS хостингом virtualbox, обслуживающим полдюжины загруженных гостевых критически важных почтовых серверов, разумной комбинацией? С чем нужно быть осторожным? И можно ли выбрать ZFS для гостевых ОС? Это связано с тем, что я могу построить еще один идентичный такой ящик для резервирования, и мне нужно будет сделать некоторое зеркальное отображение между каждой парой гостевых систем на всех ящиках.
Я не знаю, насколько хорошо VirtualBox будет работать при такой нагрузке. Перед развертыванием следует проверить производительность. Репликация была бы лучше всего с zfs send.
Я пытаюсь настроить для этого Dell R710. Из того, что я узнал, мне вообще не следует выбирать какой-либо RAID, правда? В таком случае, будут ли диски по-прежнему доступны для горячей замены?
Если вы форматируете диски как JBOD, вы можете использовать ZRAID ZFS. Они будут заменены в горячем режиме.
У нас есть SAN от LSI, и мы не использовали ZRAID. Вместо этого мы использовали аппаратный RAID6. Были случаи, когда ZFS обнаруживал повреждение данных, и я мог сказать, какие файлы были затронуты. Данные были позже восстановлены оборудованием, но если бы у нас был ZRAID, не было бы видимых повреждений данных на уровне файлов.
Если в будущем мне понадобится больше места, я бы просто заменил в горячем режиме некоторые драйверы большей емкости, чтобы расширить хранилище. С этим проблем нет, правда?
Хороший вопрос. Это будет проблемой, если вы используете аппаратный RAID. С другой стороны, ZFS должна позволить вам расширяться с помощью ZRAID. Я никогда не уставал от этого. При расширении мы просто добавляем новые полки и создаем новые zpools. Увеличить существующий zpools будет так же легко, как и добавить новые.
Разве вы не можете запустить свои почтовые серверы в тюрьмах FreeBSD (см. Порт для ezjails). Вы можете разместить отдельные тюрьмы в файловых системах zfs и, таким образом, получить все функции моментальных снимков.
Тем не менее, какую ОС и программное обеспечение должен запускать ваш гость vbox? Теперь, когда версия 8.2 (почти) вышла, в нее внесено множество улучшений. А в версии 9.0 впереди еще много всего.
Короче говоря, ZFS отлично подходит для сервера, на котором работает Virtualbox, но вам действительно не следует размещать жесткие диски на одном компьютере с виртуальными машинами. ZFS может использовать всю выделяемую вами оперативную память, что сложно сделать на сервере виртуальных машин. Но на специализированном сервере хранения вы можете правильно настроить ZFS, использовать моментальные снимки для резервного копирования и так далее. В идеале используйте iSCSI для связи между серверами виртуальных машин и серверами хранения.
Добавлено объяснение к ответу на комментарий ... Обратите внимание, что снимки не являются резервными копиями, но их можно использовать для создания резервных копий. Другими словами, выключите программное обеспечение сервера базы данных или аналогичный снимок и перезапустите программное обеспечение. Затем запустите резервное копирование, используя снимок в качестве источника. Ваше время простоя - это только время, необходимое для завершения работы и перезапуска критически важного процесса. Вот почему так полезны снимки.
Насчет 4 и 5 я не уверен.