Я хочу наконец потратить немного денег на обновление инфраструктуры виртуализации моей компании, но я уже пару недель смотрю на оборудование и не совсем уверен, что подходит для наших нужд. Помимо покупки некоторого реального серверного оборудования, я хочу заменить наш текущий сервер VMware на VMware ESXi. Первоначальный бюджет, вероятно, составляет где-то около 2000 долларов, но в конечном итоге может быть увеличен до 3000 долларов, если нам понадобится настроить производительность позже.
Прочитав несколько страшных статей об ошибках ОЗУ и частоте отказов жестких дисков на StorageReview (и после того, как я сам столкнулся с несколькими сбоями дисков), я хочу перейти к ОЗУ с ECC и хранить наши виртуальные машины на избыточных томах ZFS для защиты от тихих данных. повреждение и потеря данных.
Примечание. Я знаю, что уже есть различные вопросы о VMware ESXi и ZFS рекомендации по оборудованию, но я не смог найти никаких дискуссий о производительности VMware ESXi с виртуальными машинами, хранящимися в ZFS.
Прямо сейчас мы запускаем 4 виртуальные машины 24/7 на Athlon X2 с 8 ГБ оперативной памяти. Иногда нам нужно запустить дополнительную виртуальную машину или две, и производительность страдает. Мы также хотим виртуализировать пару дополнительных серверов, но я не вижу, что нам понадобится больше дюжины в любое время в ближайшие пару лет. Я читал, что VMware ESXi лучше масштабируется, так как это гипервизор без операционной системы, и в нем есть различные оптимизации производительности.
ВМ:
Сервер ESXi:
Я полагаю, что это обойдется мне в 1000-1500 долларов, если я куплю ОЗУ отдельно от NewEgg, но я не уверен, что лучше вложить больше денег в Xeon нового поколения, если я должен потратить их на второй процессор, или если бы я просто оставил это сейчас.
Дополнительные виртуальные машины:
Сервер ZFS:
Я полагаю, что могу перепрофилировать текущий сервер Athlon X2 в качестве сервера ZFS, установив одну из бесплатных производных от Solaris. (Спасибо MarkM за указание на то, что группа OpenSolaris распалась после того, как Oracle прекратил поддержку несколько недель назад - мне нужно будет следить за прогрессом Illumos ' форк с открытым исходным кодом). Я планирую сделать хранилище доступным для ESXi через iSCSI по прямому каналу Gigabit Ethernet.
Материнская плата поддерживает 8 дисков SATA, и я решил добавить дополнительный корпус eSATA с 4 или 8 дисками, чтобы иметь несколько зеркал ZFS или томов raidz2.
Я, вероятно, заменю память на ECC RAM для целостности данных и могу добавить SSD для ZIL / L2ARC, чтобы улучшить производительность ZFS, но я не уверен, что деньги, потраченные на SSD, лучше потратить на диски SAS.
Учитывая эти характеристики, правильно ли я определяю размер серверов? Обеспечит ли сочетание SSD и накопителей SATA 7200 RPN потребительского / корпоративного класса достаточную производительность, или нам действительно, действительно нужно перейти на SAS? Есть ли какие-то ошибки, которых я должен остерегаться? Я упустил что-то важное?
Самое главное, был ли у кого-нибудь опыт настройки подобной конфигурации - и если да, то как она работала?
Как сказал notpeter, вы на правильном пути для установки с низким бюджетом.
Мой вам совет (усвоил это на собственном горьком опыте):
Поскольку OpenSolaris мертв, Solaris 11 выходит через 6+ месяцев, а работа над Illumos все еще продолжается, вам следует учитывать Платформа Nexenta Core (nexenta.org, а не nexenta.com). Ядро Solaris и среда пользователя debian (apt) быстро выучить, если вы уже знакомы с Ubuntu или Debian Linux. Если вы решили в будущем перейти на Solaris 11 / FreeBSD, вы можете взять с собой свои пулы ZFS. Я начал с ZFS-Fuse под Linux, перешел на OpenSolaris, а затем на Nexenta: CP с тем же пулом.
Моя домашняя установка похожа на предложенный вами сервер хранения ZFS. Я считаю, что двухъядерный процессор с частотой 2,8 ГГц (Core i5-650), 8 ГБ оперативной памяти ECC и зеркальный zpool 4x2 ТБ (WD RE4 7200 об / мин) без твердотельных накопителей весьма производительны. ESXi подключается через NFS или iSCSI, а клиенты Win / Mac подключаются через CIFS. Я легко могу заполнить одно гигабитное соединение (~ 95 МБ / с), а локальные диски имеют даже лучшую пропускную способность. Честно говоря, у меня нет достаточного сетевого оборудования или нагрузки на количество операций ввода-вывода в секунду дома, чтобы увидеть, насколько задержка выиграет от наличия SSD для ZIL и L2Arc, но скоро я добавлю больше оперативной памяти и SSD для L2Arc, чтобы увидеть, действительно ли я могу заставить дедупликацию работать быстро.
Я думаю, что при наличии достаточного количества оперативной памяти (8 ГБ +), приличной карты SAS и зеркальных пулов ваш Athlon X2, вероятно, справится с этой задачей. IMHO деньги, потраченные на SAS 10k / 15k, являются пустой тратой для ZFS, если вы не планируете использовать многопутевые / интеллектуальные корпуса SAS или застряли только с 4-6 отсеками для дисков. Вы упоминаете eSATA; рассмотрите возможность использования многополюсных SAS (4x) в качестве альтернативы для подключения корпуса. Если вы не планировали использовать порты esata для дисков 1: 1, вам понадобятся умножители портов eSATA 4: 1/5: 1, которые мультиплексируют несколько дисков по одному каналу. Multilane SAS (SFF 8088 / SFF-8470) - это четыре настоящих канала SAS / SATA на каждый кабель с переходными кабелями на одном или обоих концах в зависимости от ваших карт и корпусов. LSI SAS без RAID карты отлично подходят для ZFS, даже если Nexenta поддерживает LSI SAS 9200-16e за $ 500 (четыре порта SAS 4x 6 Гбит / с).
Что касается коробки ESXi, любой 4/6 ядерный сервер крупного производителя удовлетворит ваши потребности сегодня, но не рассчитывайте на то, что в будущем сможете заполнить второй сокет процессора, цены на обновление могут быть не разумными или даже недоступными (я получил сгорел от этого). Если вы собираетесь использовать whitebox ESXi (2-й ящик для DR?), Самая большая проблема - убедиться, что у вас есть сетевой адаптер на ESXi HCL. Серверные сетевые карты Intel, вероятно, будут работать, но многие встроенные Intel e1000 и RealTek - нет. ESXi даже не загрузится / не установит, если не найдет поддерживаемую сетевую карту. Самая дешевая сетевая карта расширения PCIe - это PCIe x1 за 30 долларов. Настольный компьютер Intel Gigabit Ct (EXPI9301ct), но если это ваш основной блок esx, вам обязательно стоит выбрать многопортовый сетевой адаптер Intel более высокого класса, возможно, с iSCSI TOE. К сожалению, AFAIK, на стороне ZFS (OpenSolaris / Nexenta) вообще нет поддержки TOE.
Честно говоря, я думаю, что вы на правильном пути. Создание плохого ZFS SAN для ESXi, скорее всего, удовлетворит ваши потребности и даст вам немного возможностей для роста, особенно если вы придерживаетесь зеркальных (не RAIDZ) пулов. Когда ваши потребности в вводе-выводе превышают 2xGigE или вы получаете второй хост ESXi, все становится сложнее (коммутаторы L3, 10gigE, 4Gig FC и т. Д.), Но вы пересечете этот мост, когда подойдете к нему. О да, и не забывайте, что, хотя ZFS довольно стабильна, а моментальные снимки - мощные, она не может заменить правильное резервное копирование.
кстати, спасибо за ссылку на мой предыдущий ответ в вашем вопросе.