Я определил, что передача данных в моем кластере будет затруднена из-за сетевого соединения (я насыщаю двойное SAS-соединение с моим хранилищем последовательными рабочими нагрузками), и я не могу выбрать между 10 GbE или 40/56 Gb Infiniband для смягчения последствий проблема.
Я склоняюсь к использованию двухпортовых сетевых адаптеров 10 GbE и агрегации каналов для увеличения пропускной способности между моими серверами. Однако я читал, что пропускная способность не увеличивается линейно с количеством ссылок. Какую пропускную способность мне следует ожидать? Если это зависит от моего рабочего набора, как мне оценить пропускную способность?
Связывание звеньев 1GBE почти линейное. Я не пробовал это со ссылками 10GBe и подозреваю, что это менее чем линейно. Причина в том, что память и процессор становятся узкими местами. Я видел это с бесконечной полосой FDR, и я не сомневаюсь, что то же самое может произойти с Ethernet, несмотря на механизмы разгрузки.
Вот почему был изобретен RDMA. В Infiniband это называется просто RDMA. В сети Ethernet это называется RoCE или RDMA через конвергентную сеть Ethernet. Он предназначен для предоставления памяти для передачи памяти и обхода ЦП для всего, кроме настройки процесса передачи. Протокол iSCSI iSER использует RDMA. Однако здесь снова есть узкое место. Чтобы выполнить RDMA, вам необходимо заблокировать области памяти, чтобы они не выгружались на диск во время процесса. Это требует времени и часто является узким местом. На FDR мы получали около 6 ГБит / с, что по-прежнему не превышает 56 ГБит / с - накладные расходы.
Обычно люди хотят придерживаться одной известной технологии, такой как Ethernet. Но для максимально возможной производительности infiniband - это просто фантастика. Оба они довольно дороги, но Ethernet может иметь преимущество по стоимости.