Хотите использовать старый сервер, который простаивает, в качестве подтверждения концепции ... вот спецификации Dell PE 2900: Xeon 5110 - 2P, 12 ГБ ОЗУ, 8 x 300 ГБ 15K дисков, Perc 5i + 256 МБ кэш-памяти
какое дополнительное оборудование потребуется на сервере и хостах? Карта Ethernet на 1 ГБ, коммутатор на 1 ГБ?
есть 4 сервера ESX, которые могут подключаться к этому серверу хранения (iSCSI или NFS)
какое программное обеспечение рекомендуется? Opensolaris? Издание сообщества Nexenta? FreeNAS?
ценю любые ссылки на руководства, учебные пособия.
Марути
Для ZFS существует ряд факторов, влияющих на общую стоимость, производительность и вашу удовлетворенность созданной системой.
ПОДДЕРЖКА Если вам нужно иметь возможность позвонить кому-нибудь, когда у вас возникнут проблемы, не делайте этого самостоятельно, купите устройство Sun 7000 Unified Storage. Они немного дорогие, но вы получаете то, за что платите. Высококачественное оборудование с последним кодом OpenSolaris в виде устройства ... ох, и аналитикой, за которую стоит умереть. Это единственный способ купить поддержку OpenSolaris у Oracle, и у вас относительно большие карманы, поговорите с представителем Oracle, это того стоит. (это было у меня на работе)
ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ Поскольку в Solaris 10 нет крутых передовых функций ZFS (дедупликация, ZIL без зеркалирования, цель COMSTAR iSCSI / FibreChannel и т. Д.), Вы захотите запустить что-нибудь на основе битов OpenSolaris. Поскольку сам OpenSolaris мертв, а для Illumos еще нет полного распространения, рассмотрите Nexenta. Это в основном OpenSolaris Kernel + пользовательская среда Debian (apt). Платформа Nexenta Core бесплатен для неограниченного использования, но если вы готовы платить за поддержку, рассмотрите NexentaStor хотя я не фанат долларов за ТБ (бессрочные лицензии начинаются с 800 + 75 долларов за ТБ).
ЗЕРКАЛЬНОЕ против RAIDZ1 / RAIDZ2 В основном борьба между IOPS и емкостью при одинаковом количестве дисков. С большими дисками (1-2 ТБ), если вы решите, что зеркалирование слишком дорого, определенно используйте двойную четность (RAIDZ2), поскольку время восстановления массивов с несколькими ТБ может легко занять больше суток. (Больше: ZFS: зеркало против RAID-Z). Не забывайте избыточность! = Резервные копии.
ПРИВОДЫ Я рекомендую вам подумать о том, чтобы отделить хранилище от серверного шкафа. SuperMicro делает несколько хороших корпусов, но вам неизбежно понадобится больше места для хранения, чем поместится в вашем случае, почему бы не начать с приличного корпуса SAS и не купить еще один, когда вы расширитесь. Я бы купил диски SATA со скоростью 7200 об / мин вместо дисков SAS от 10 до 15 тысяч, больше или зеркальные шпиндели будут превосходить быстрые дорогие диски с ZFS за те же $.
объем памяти Купите много барана. Минимум 12-16 ГБ, вдвое или втрое больше, если вы хотите рассмотреть возможность дедупликации.
SSD Если вы используете iSCSI или NFS для хранения виртуальных машин, обязательно купите устройство высокого класса для ZIL, чтобы ускорить синхронную запись (см. мой ответ на предыдущий вопрос). Купите один или несколько достойных MLC SSD, чтобы L2ARC выступал в качестве вторичного кеша чтения; если вы выполняете дедупликацию, вам понадобятся твердотельные накопители для L2ARC, достаточно большие, чтобы соответствовать вашим таблицам дедупликации.
ПРЕДОСТАВЛЕНИЕ ZFS делает тонкое обеспечение файловой системы таким же простым, как создание каталога в большинстве сред. zfs create -V 40g pool/fsname затем zfs set shareiscsi=on pool/fsname и вы сделали. Клонировать существующую систему так же просто с помощью моментального снимка zfs snapshot pool / fsname @ snapname; zfs clone pool / fsname @ snapname pool / newfsname '. Эти операции выполняются быстро (0–5 секунд).
Обновите 10.07.2010, чтобы отразить рекомендации по использованию вашего оборудования:
Поскольку Perc6 не поддерживает передачу дисков напрямую, как просто связку дисков (обсуждение) вам нужно будет создать 8 однодисковых массивов RAID 0. Используйте два в качестве зеркальной пары и установите туда корневой том. Используйте оставшиеся шесть как чередующийся набор из 3 зеркальных пар (например, RAID10) после первой загрузки, запустив zpool create poolName mirror c0t0d0 c0t1d0 mirror c0t2d0 c0t3d0 mirror c0t4d0 c0t5d0 (замените свой diskid, посмотрев на вывод команды 'format'). Примечание. Поскольку PERC может изменить нумерацию, если отказавший диск (и, следовательно, связанный с ним набор RAID0) отсутствует после перезагрузки, вы должны записать серийные номера дисков / cXtXdX / slots и документ / метку соответственно. Надеюсь, вам это никогда не понадобится, но наличие этой информации означает, что это сделает ее менее болезненной, если вам когда-либо придется переносить диски или хорошо запретить выполнение восстановления.
До приобретения Oracle я бы определенно рекомендовал OpenSolaris вместо Nexenta Core Platform, но теперь я определенно склоняюсь к Nexenta CP. По сути, они единственные, кто продолжает регулярные обновления с момента выпуска OpenSolaris b134 в марте 2010 года. Перенос пула ZFS между ними возможен, но зависит только от версии ZFS на диске, которую вы можете указать во время создания пула (обсуждение, см. 3-е сообщение). Я никогда не использовал FreeNAS или EON, поэтому не могу их комментировать.
Что касается NFS и COMSTAR iSCSI, вам следует протестировать оба варианта на гигабитной скорости с использованием jumbo-кадров. AFAIK, OpenSolaris / Nexenta не поддерживает аппаратный TOE для сетевых карт, но если у вас есть сетевые адаптеры с включенным TOE на стороне VMWare, они уменьшат накладные расходы ЦП для iSCSI. Вы можете протестировать с прямыми кабельными кроссоверами, но для нескольких хостов вам понадобится гигабитный коммутатор, который поддерживает jumbo-кадры (оптимально оптимизированная для iSCSI VLAN на коммутаторе Layer3). Если у вас есть тестовая оптоволоконная карта, «КОМСТАР» тоже использует оптоволоконный канал.
Чтобы использовать возможности гибридного хранилища ZFS (HDD + SSD), я бы смоделировал ваше использование без специального устройства ZIL и посмотрел, достаточно ли хороша производительность (может быть достаточно дисков SAS 15k с полосой / зеркалированием). Если нет, то с одним / несколькими НЕ ПРОИЗВОДСТВО Настройте виртуальные машины, временно отключите ЗИЛ и снова измерьте производительность. Если ваша производительность намного лучше, то ЗИЛ является узким местом для вашей установки, и выделенное устройство ЗИЛ будет стоить своих денег. В DDRDrive X1 (2000 долларов, 1500 долларов .edu) разработан для ЗИЛа, в котором вместо отсека для дисков используется только слот PCI-E x1. В качестве альтернативы вы можете подумать о замене зеркальных загрузочных дисков двумя неизбыточными 2,5-дюймовыми твердотельными накопителями SATA. SSD-накопитель с суперконденсатором, предназначенный для использования на ЗИЛ (Vertex2Pro 32 ГБ 435 долларов США) и приличный SSD MLC (например, Intel X25-M 80 ГБ 230 долларов США), разделенные на один небольшой раздел для root, а остальные для L2ARC. ZFS ARC использует больше оперативной памяти, но 12 ГБ должно быть достаточно для начала.
Я оставлю предложения по инструментам эталонного тестирования к другому вопросу (в значительной степени зависит от вашего пути к хранилищу-> vm, гостевых ОС и рабочей нагрузки), но зонды DTrace могут дать много полезных данных, несмотря на кривую обучения (именно здесь анализатор Sun 7000 Series Analytics светит). Два заключительных примечания: обновите прошивку и BIOS PERC6 перед запуском, и если вы приобретете SSD для L2ARC, на нагрев может уйти несколько часов, поэтому не просто выставляйте его в холодном состоянии.
Попробуйте этот рецепт от SUN ... ааа .. Oracle:
http://developers.sun.com/openstorage/articles/opensolaris_storage_server.html
Нет необходимости в оборудовании RAID ... рейд необходим;)
У Supermicro была хорошая 8-портовая sata-карта (без рейда), которая хорошо поддерживалась Solaris.
О DIY, взгляните здесь:
http://www.greenm3.com/2009/10/opensolaris-green-home-server-low-power-and-small.html
Установите последнюю версию OpenSolaris (b134) для разработки.
Если вам нужна производительность, создайте 4 зеркальных vdev с теми восемью дисками, которые у вас есть.
Для еще большей производительности используйте два зеркальных SSD-диска SLC в качестве устройства регистрации и дополнительный SSD в качестве кеша.
Ожидание появления дедупликации в ZFS FreeNAS ... Когда это произойдет, требования к оперативной памяти могут стать более разумными.
В дополнение к другим ответам о FreeNAS, FreeBSD и последних версиях ZFS (сейчас я не могу комментировать эту тему).
FreeBSD 9 (сейчас beta1) будет поддерживать ZFS v28 http://hub.opensolaris.org/bin/view/Community+Group+zfs/28.