Я строю домашний кластер, где у меня будет около 16 узлов, которые могут работать с портами 1G, но я хочу иметь 10GE на файловом сервере и центральном узле. Это все локально, поэтому кабели длиннее 3-5 м не нужны. И, конечно, я хочу потратить как можно меньше денег (не собираюсь тратить больше, чем затраты на весь кластер) :-)
Какие у меня варианты?
Не думаю, что вы видите здесь всю картину.
Вы хотите подключить файловый сервер со скоростью 10 Гбит / с, что может показаться привлекательной идеей. То, что вы не видите, - это способность этого сервера генерировать такой объем трафика, считываемого с дисков. Получение 1 Гбит / с от файлового сервера на сегодняшний день является очень хорошим достижением. 10 Гбит / с будут не только дорогими, как вы сами осознали, но и как минимум на 90% бесполезными.
Наилучший вариант - начать устанавливать несколько молниеносно быстрых дисков на файловые серверы, если необходимо обеспечить такое большое количество операций ввода-вывода. Я твердо верю, что «доступный» (обратите внимание на кавычки) путь к этому - SSD-диски в быстрых конфигурациях RAID (то есть RAID10).
Что касается сети, то агрегат 4x1 Гбит / с отлично подойдет, и вы даже можете добавить больше позже. Обратите внимание на тот факт, что внутренние шины (читай PCI *) не всегда способны обрабатывать мультигигабитные скорости. Это особенно верно, если вы не используете материнские платы серверного уровня.
Я считаю, что это ваш единственный «доступный» вариант. Карты Infiniband не так уж и дороги. Я считаю, что вы можете найти их за ~ 150 долларов, но коммутатор будет очень дорогим.
вы можете рассмотреть возможность использования ATA через Ethernet, если хотите сэкономить на некоторых дорогих коммутаторах уровня 3. это протокол chioce для недорогого, но высокопроизводительного решения, чем любая другая файловая система, которую я знаю сегодня. А вот ванильных свитчей на 10Гб (без коммутации L3) нет.
рассматривать как POC: проект Ubuntu server 10.x и инструментов AOE http://sourceforge.net/projects/aoetools/files