Я строю небольшой центр обработки данных с нуля и подумываю о 10GbE. Я ищу совета по поводу этого решения.
Я сравнил Infiniband, FC, 10GbE и LACP с GigE, и в итоге 10GbE оказался лучшим решением на данный момент.
Говоря о центре обработки данных: у него будет одно или два хранилища (два в случае аварийного переключения) и три машины высотой 1U с некоторым гипервизором (XenServer - мой любимый). Виртуальные машины будут в хранилище, поэтому гипервизоры будут загружаться с хранилища, или я поставлю несколько небольших твердотельных накопителей в машины 1U только для загрузки гипервизора.
Итак, проблема здесь: я немного запутался в том, что мне нужно купить, чтобы создать сеть. Я видел несколько дорогих коммутаторов, таких как Cisco Nexus 5000/7000 с множеством функций, но я не знаю, действительно ли мне нужны эти ребята.
У меня нет FC, так что безопасно ли покупать отдельные коммутаторы 10GbE без технологий «конвергентных сетей»? Или мне следует взять один из них, чтобы запустить FCoE?
Другой вопрос: iSCSI over 10GbE будет лучше FCoE? (Я считаю, что FCoE лучше, потому что мы не используем стек IP в FCoE).
Заранее спасибо, и я очень ценю некоторые мнения здесь.
Я здесь с Томом! IB (даже древний) дешевле и быстрее 10 GbE.
Люди получают хорошие цифры от дешевого снаряжения:
http://forums.servethehome.com/networking/1758-$ 67-ddr-infiniband-windows-1-920mb-s-43k-iops.html
Проблема в том, что TCP-over-IB отстой (убивает производительность, добавляя огромные задержки), а собственная поддержка IB очень ограничена. SMB Direct с Windows Server 2012 R2 великолепен (когда он работает).
Выбор между технологиями должен быть сделан на основе оценки ваших потребностей / бюджета / опыта. Очевидно, ваш выбор во многом зависит от того, какой тип оборудования для хранения данных у вас есть или вы купите вместе с сетевой инфраструктурой. Традиционно в сетях SAN из-за их высокой скорости использовался оптоволоконный канал, но с появлением 10GbE Ethernet стал жизнеспособным соперником. В зависимости от уровня использования вашего центра обработки данных вы даже можете отказаться от использования 1GbE и MPIO с возможностью масштабирования позже. Большинство крупных поставщиков предоставят вам выбор между предложениями iSCSI, FCoE и FC, и выбор между ними должен основываться на вашей текущей (или желаемой) инфраструктуре с учетом опыта вашего персонала.
Я не могу комментировать использование Infiniband, поскольку сам никогда не использовал его, за исключением того, что его использование менее распространено, чем эти другие технологии, а также, соответственно, меньше поставщиков на выбор. Дополнительный риск - найти персонал, который может обслуживать менее распространенное оборудование.
Лично, если у вас (и ваших сотрудников) нет опыта (или существующей инфраструктуры) с Fibre Channel, я бы порекомендовал выбрать предложение iSCSI, поскольку ваша кривая обучения (и, возможно, ваши затраты на внедрение) будут намного ниже. Большинство людей забывают, что затраты на оборудование ничтожны по сравнению с трудом. Я трачу в десять раз больше на персонал, чем на свой бюджет на оборудование, поэтому, если какое-то оборудование немного дороже, но хорошо понимается моим персоналом (или мне легче найти кого-нибудь для работы над ним), это становится очевидный выбор. Если, конечно, вы не ищете новую возможность обучения. :П
FCoE имеет смысл, если у вас есть существующая инфраструктура FC и вам нужно подавать FC LUN на новые серверы, а у них нет FC HBA (или у вас заканчиваются лицензионные порты FC на коммутаторах FC - это то же самое). Итак, вы берете 10 GbE и запускаете FCoE, чтобы сократить расходы на оборудование FC. Создавать с нуля FCoE бессмысленно, запустите iSCSI (или SMB Direct с RDMA, если вы на «темной стороне») через 10 GbE и будьте счастливы. С недавними приличными многоядерными и многоядерными ЦП и TCP и iSCSI, по крайней мере частично выгруженными на ASIC сетевых карт, нет разницы между хранилищем через TCP и хранилищем через необработанный Ethernet. Удачи мой друг!
Зачем?
Учитывая высокие цены и низкую пропускную способность, я всегда предпочел бы Infiniband 10g. Плюс исходящий канал на основе 1g - если у вас нет пропускной способности восходящего канала более 1g.
Из-за других ограничений я использую 10g на некоторых серверах (в основном - почти все 1g и Netgear TXS 752, который мы используем в качестве магистрали, имеет 4x10g spf +), а ценовой фактор сетевых карт - ой. По сравнению с гораздо более быстрым Infiniband.