У меня около 200 вычислительных узлов, на которых я запускаю свои программы. При запуске этих программ этим узлам потребуется доступ к общему месту, где хранятся мои данные. Мне нужно хранилище, которое может вместить ~ 3 ТБ данных, но должно быть быстрым при доступе со всех узлов одновременно.
Шаблон использования - это чтение и запись ~ 10 файлов размером около 2 МБ каждый для каждой запущенной программы. На каждом узле будет запущено 8 экземпляров такой программы. Таким образом, у меня работает 1600 экземпляров одной и той же программы, которые пытаются получить доступ к данным.
Одновременной записи в один и тот же файл не происходит.
Какую систему хранения я должен использовать?
В настоящее время я подумываю купить пару серверов Dell под управлением Linux + 1 RAID-массив 4U. Серверы Dell будут обслуживать файлы из шкафа. Я пока не знаю, какое программное обеспечение позволит мне выполнять обслуживание файлов с балансировкой нагрузки.
ммм, хорошо, если вас интересуют продукты Dell, вы можете запросить информацию о Dell Equallogic. Это решение SAN iSCSI. Он может обеспечить полосу пропускания 4 (порта) * 10 ГБ (я думаю, это самая быстрая конфигурация портов, разрешенная для равной логики).
Вы также можете выбрать решение для оптоволоконного канала ... HP MSA или EVA ...
Если вы хотите накрутить свой собственный, это было поднято в прошлом сообщении / вопросе, и это выглядит очень интересно ...
Самый важный вопрос в этом - какие операции ввода-вывода уже есть у ваших 200 узлов?
Причина, по которой я говорю это, заключается в том, что многие вычислительные установки используют бесконечную полосу пропускания, и если у вас уже есть такая инфраструктура, я настоятельно рекомендую вам просто купить шлюз FC-to-IB и `` потеть '' свои существующие инвестиции - это ' буду быстрым и выносливым.
В отсутствие IB следующей лучшей по производительности SAN будет сеть FC 8 / 4Gbps - это будет очень быстро, но очень дорого для 200 узлов, поскольку FC HBA / SFP + s / FC-коммутаторы и т. Д. Не дешевы при таком объеме. Тем не менее, это отличное решение, которое позволит вам хорошо спать по ночам. Да, и я согласен с вышеупомянутым Адрианом в том, что HP EVA очень легко настроить.
Если ваши узлы имеют только 1 или 10 ГБ Ethernet, то у меня возникнет соблазн выбрать одну из этих распределенных файловых систем типа NAS, таких как gluster, или просто старый обычный NAS среднего / высокого класса, такой как NetApp (меньшие по размеру действительно подойдут). борьба с нагрузкой). Это сработает, но вы можете столкнуться с проблемами во время пиковой нагрузки, конечно, это означает, что ваши затраты будут намного ниже, чем при использовании других решений. Если вы пойдете по пути «большого NAS», у меня возникнет соблазн подключить их к сетевым адаптерам 10 Гбит / с, поскольку их цена сильно снизилась, и с ними будет намного проще иметь дело, чем с множеством объединенных сетевых адаптеров 1 Гбит / с.
Чего я бы категорически избегал, так это iSCSI, причина в том, что если вы хотите иметь какое-либо общее хранилище, даже только два узла, которые видят один и тот же том, вам понадобится файловая система кластера - это нормально для нескольких узлов, но не хорошо работать для 200 узлов - если вообще - арбитраж нанесет вред среде. Между прочим, это не проблема для FC, поскольку арбитраж больше предназначен для FC.
Надеюсь, это поможет, не стесняйтесь возвращаться с дополнительными вопросами. Да, кстати, хороший вопрос :)