Примечание. Некоторые из вас могут спросить, почему бы просто не использовать дешевое аппаратное решение. Решение не так дешево в стране, в которой оно должно быть установлено, со 100% налогом на импорт на высокотехнологичные технологии. Гораздо дешевле установить пару новых компонентов и использовать существующий сервер, чем пытаться импортировать новый сервер.
Примечание 2: извините за запутанные FC и iSCSI, я считаю их одним и тем же с точки зрения ОС. Так что любое решение работает.
Я намереваюсь построить «как можно более дешевую» сеть SAN с Fibre Channel. На данный момент меня меньше беспокоит HA, но, возможно, в будущем мне придется заняться HA. Идея в том, что мне нужно достойное решение iSCSI для VMWare vSphere, чтобы запускать виртуальные машины.
Я запускал vSphere из локального хранилища, и некоторые приложения (например, SQL Server) лучше работают с собственными дисками, чем с VFS.
Я думал, что могу взять уже имеющийся у меня сервер и подключиться к FC HBA, а затем запустить какое-нибудь программное обеспечение, которое позволит мне рассматривать диски как цели iSCSI (есть несколько вариантов). И, если я использую стандартные диски SATA или, возможно, даже диски SAS "near line", я могу получить много места для хранения за гораздо меньшие деньги, и, возможно, я могу получить около 15 000 дисков SAS, работающих в RAID5, запустив более медленные диски в RAID10 и еще сэкономить деньги.
Однако у меня есть несколько вопросов, на которые, я надеюсь, кто-то сможет ответить, поскольку я не гуру FC:
1) Нужен ли мне коммутатор FC, если я просто работаю между двумя серверами? Могу ли я установить соединение «точка-точка» с любыми двумя адаптерами FC? Или HBA должен поддерживать этот режим?
2) если на HBA есть 2 порта, могу ли я проложить 2 кабеля и без проблем получить двукратную производительность (объединение)? Или мне нужно назначить несколько LUN на один порт, а некоторые на другой?
3) Какова нагрузка на ЦП при обработке запросов SAN (очевидно, зависит от ОС, но в целом)? Могу ли я взять сервер с более низкими характеристиками и установить приличный контроллер SATA с местом для дисков и FC HBA и не особо беспокоиться о загрузке процессора (при условии, что он больше ничего не делает)?
4) Это вообще хорошая идея?
5) Будет ли GigE иметь больше смысла при объединении нескольких сетевых адаптеров? Я имею в виду, могу ли я поставить пару E1000 с 4 или 8 портами и приблизиться к двухпортовому FC 2 или 4Gb с точки зрения производительности?
Вам, вероятно, следует просто использовать FC SAN; если у вас уже есть FC Storage, вы можете получить FC Switch и FC HBA для хост-серверов; этого будет достаточно, чтобы запустить простую FC SAN.
Вы можете использовать сервер в качестве шлюза FC-iSCSI; программное обеспечение, такое как Starwind или SanMelody, работает в Windows; или большинство дистрибутивов Linux поставляются с программным обеспечением iSCSI Target.
Обработка SAN IO будет зависеть от того, что вы ищете - IOps или MBps. Большее количество операций ввода-вывода требует большего использования ЦП для обработки каждого; оба требуют как можно больше кеша и самых быстрых шин, какие только можно найти.
GigE так же быстр, как FC; но с GigE обычно больше накладных расходов. iSCSI работает по TCP / IP, что увеличивает накладные расходы. Однако кадр Ethernet очень сравним с кадром FC; поэтому такие технологии, как ATAoE и HyperSCSI, могут не отставать, с оговоркой, что один FC 4 Гбит / с может обрабатывать один поток на этой скорости, а для 4 GigE потребуется 4 соединения для насыщения фабрики (теоретически; в реальной жизни всегда немного хуже).
Итак, вы говорите о дисках SATA и SAS ... у вас есть контроллер FC-SAS, который вы планируете подключить к серверу шлюза FC-iSCSI, который затем ретранслируется на хост-серверы? Это много накладных расходов и в значительной степени убьет производительность.
Если вы хотите использовать оборудование SAS, вы можете создать SAS SAN еще дешевле (без FC или iSCSI); к нему подключаются диски, SAS HBA на серверах, а SAN разбивает диски на «LUN». Такие продукты, как HP MSA2000sa, сделают это. Это более ограничено, чем FC или iSCSI; но для простых сред очень рентабельно.
Если вы хотите использовать iSCSI, вам не нужно оборудование FC.
Вы можете посмотреть на OpenFiler или FreeNAS построить вашу систему хранения.
[ОБНОВЛЕНИЕ] Похоже, вы действительно ищете базовое хранилище с прямым подключением. Самодельная версия Dell MD1000. iSCSI в этом случае не имеет значения. SATA, eSATA, SCSI, SAS и Fibre Channel - это все возможные протоколы. Это не общее хранилище, а просто расширенное локальное хранилище.
Не путайте iSCSI и Fibre Channel, они разные, даже если имеют схожее назначение.
iSCSI полностью работает через IP со стандартными компонентами Ethernet и вообще не требует специального оборудования. С другой стороны, Fibre Channel соединяет устройства хранения через специализированную (оптическую) сеть с совершенно другим протоколом, чем IP.
Если вы можете использовать цели iSCSI для хранения данных, вам вообще не нужен Fibre Channel, так как вы можете подключить множество дисков с помощью SAS или SATA (предпочтительно с помощью аппаратного контроллера рейда), а затем экспортировать хранилище как цель iSCSI.
Вы также можете изучить AOE, ATA Over Ethernet с сайта coraid.com. Это уровень 2 на GigE, хорошо работает, потому что нет дополнительных IP-адресов, он немного быстрее, чем ISCSI. Вы можете либо купить полку coraid с несколькими портами Ethernet, либо использовать их бесплатное программное обеспечение, чтобы представить диск из коробки Linux. Клиентское программное обеспечение распределяет нагрузку по всем портам. У них также есть поддерживаемая карта для VMware.
Дешево, хорошо, быстро; выберите любые два.
Вы можете создать цель iSCSI, используя что-то вроде FreeNAS или пары других решений, но рассматривали ли вы возможность использования NFS в качестве общего хранилища VMWare? Опять же, FreeNAS или Nexenta могут сделать это легко. Просто используйте аппаратный RAID-контроллер, чтобы получить необходимую производительность, или, в случае с nexenta, достаточно ЦП в ящике для хранения, чтобы выполнить Raid.
С помощью решения на основе ZFS вы также получаете дедупликацию в основном хранилище, что позволяет значительно сэкономить место. NetApp - единственное другое хранилище, которое может это сделать.