В настоящее время мы используем iSCSI SAN в качестве хранилища для нескольких серверов VMware ESXi. Я исследую использование цели NFS на сервере Linux для дополнительных виртуальных машин. Я также открыт для идеи использования альтернативной операционной системы (например, OpenSolaris), если она предоставит значительные преимущества.
Какая файловая система на базе Linux поддерживает очень большие непрерывные файлы (например, образы дисков VMware)? В качестве альтернативы, как люди нашли ZFS на OpenSolaris для такой нагрузки?
(Этот вопрос был изначально спрашивал на SuperUser; не стесняйтесь переносить ответы сюда, если знаете как).
Я действительно рекомендую вам взглянуть на ZFS, но для получения достойной производительности вам нужно будет выбрать выделенное устройство в качестве журнала намерений ZFS (ZIL). В основном это небольшое устройство (несколько ГБ), которое может писать очень быстро (20-100K IOPS), что позволяет ZFS немедленно подтвердить, что записи были синхронизированы с хранилищем, но подождать до 30 секунд, чтобы фактически зафиксировать запись на жесткие диски в ваш бассейн. В случае сбоя / выхода из строя любая незафиксированная транзакция в ЗИЛе воспроизводится при монтировании. В результате в дополнение к ИБП вам может потребоваться привод с внутренним источником питания / суперконденсатором, чтобы любые ожидающие операции ввода-вывода переводились в постоянное хранилище в случае потери питания. Если вы выберете специальное устройство ZIL, запись может иметь высокую задержку, что приведет к разного рода проблемам. Предполагая, что вас не интересует оптимизированный для записи SSD-накопитель Sun Logzilla объемом 18 ГБ за ~ 8200 долларов, существуют более дешевые альтернативы:
После того, как вы установили OpenSolaris / Nexenta + ZFS, вы сможете перемещать блоки между OpenSolaris и ESX boxen несколькими способами; то, что вам подходит, в значительной степени зависит от вашей существующей инфраструктуры (коммутаторы L3, оптоволоконные карты) и ваших приоритетов (избыточность, задержка, скорость, стоимость). Но поскольку вам не нужны специализированные лицензии для разблокировки функций iSCSI / FC / NFS, вы можете оценить все, что у вас есть, и выбрать то, что вам больше всего нравится:
Если вы не можете потратить 500 долларов на оценку, протестируйте с и без ЗИЛ отключен посмотреть, не является ли ЗИЛ узким местом. (Вероятно, это так). Не делайте этого на производстве. Не связывайтесь с дедупликацией ZFS, если у вас также нет большого количества оперативной памяти и SSD для L2ARC. Это определенно приятно, когда вы его настроите, но вы обязательно попытаетесь Настройка NFS перед тем как играть с дедупом. После того, как вы получите насыщение каналов 1-2 Гб, появятся возможности для роста в FC 8 Гб, 10gigE и Infiniband, но каждая из них требует значительных инвестиций даже для оценки.
Я большой поклонник хранилищ данных NFS для VMware, у NetApp отличная реализация.
TR-3808 сравнивает масштабирование общих хранилищ данных NetApp FC, iSCSI и NFS, что является отличным показателем.
Мы используем OpenSolaris 2009/06 с конфигурацией RAID 10 ZFS для предоставления NFS нашему серверу VMWare ESXi. Пока он работает достаточно хорошо для наших нужд. Мы используем диски типа SATA Raid (диски Seagate ES.2 1TB). Однако нам еще предстоит кое-что настроить.
Я бы не стал этого делать. По моему опыту, Linux (особенно CentOS 3/4/5) обычно плохой выбор для сервера NFS. У меня было несколько, и я обнаружил, что под нагрузкой задержка и пропускная способность имеют тенденцию падать по причинам, которые мы никогда не могли понять.
В наших случаях мы сравнивали производительность Linux параллельно с Solaris (на Ultra-SPARC) и NetApp; оба из них дали результаты с точки зрения производительности «яблоко-к-яблоку» и в туманных терминах «инженеры почти не жалуются на задержку, когда сервер находится под нагрузкой». Было несколько попыток настроить сервер Linux NFS; обе системы NetApps и Solaris работали "как есть" из коробки. А поскольку задействованные системы Solaris и NetApp были более ранними, можно утверждать, что серверы Linux имели все преимущества и все же не были убедительными.
Если у вас есть время, стоит поэкспериментировать, чтобы установить такое же оборудование с OpenSolaris (теперь, когда Solaris фактически слишком дорого использовать), Linux и, возможно, одним или двумя вариантами BSD, и гонять их. Если вы можете придумать некоторые показатели производительности (например, количество дисковых операций ввода-вывода в виртуальной машине, размещенной вне магазина), это может стать интересным официальным документом или статьей в Интернете. (Если у вас есть время.)
Что касается NFS в целом, люди из NetApp несколько раз говорили мне, что их тесты показали, что производительность NFS для виртуальных машин обходится только от 5 до 10% - и если ваше приложение было достаточно чувствительным, чтобы это было проблемой, вам не следует виртуализировать это в первую очередь.
Но я должен признаться, что после всего этого времени и слез все наши нелокальные производственные хранилища виртуальных машин питаются через iSCSI, в основном от NetApp.
Возможно, вы захотите рассмотреть ошибку 3+ лет с ZFS ARC, которая все еще сохраняется, прежде чем слишком глубоко погрузиться в ZFS ...
http://bugs.opensolaris.org/bugdatabase/view_bug.do?bug_id=6522017
(Это неприятно, так как оно также выйдет за пределы виртуальных машин гипервизора!)