Switchless Infiniband между двумя серверами на RHEL 6.3

У меня есть 2 сервера под управлением RHEL 6.3, у которых есть 2-портовые карты Infiniband

>lspci | grep -i infini
07:00.0 InfiniBand: QLogic Corp. IBA7322 QDR InfiniBand HCA (rev 02)

Мне интересно подключить их напрямую друг к другу, минуя переключатель Infiniband (которого у меня нет). Быстрый поиск в Google показал, что по крайней мере в некоторых конфигурациях это возможно.

Я установил все пакеты RedHat Infiniband с yum groupinstall "Поддержка Infiniband". Однако ibv_devinfo показывает, что оба порта на каждой карте не работают, что означает, что кабели не подключены. Но кабель является подключен, хотя светодиоды на картах не горят (нехороший знак). Еще один источник замешательства для меня заключается в том, что, согласно этот, RedHat не поставляется с OFED пакеты, и я немного не решаюсь устанавливать их из исходного кода из-за отсутствия поддержки RedHat для них ... Итак, что я собираюсь с этим делать? У меня есть следующие вопросы:

возможно ли установить соединение Infiniband без переключателя / прямое соединение между двумя серверами, как я описал выше?
Если возможно, нужно ли мне использовать пакеты OFED или я могу настроить все, используя только пакеты, поставляемые с RHEL.
Почему светодиоды на моих серверах не горят, хотя кабель подключен?

Любые дополнительные вводные / советы / указатели будут оценены.

P.S. Я последовал за это руководство инструкции по установке. Карты Infiniband четко распознаются моей ОС, и служба rdma работает.

Обновить: У меня установлен opensm. Когда я запускаю его, он говорит:

OpenSM 3.3.13
Command Line Arguments:
 Log File: /var/log/opensm.log
-------------------------------------------------
OpenSM 3.3.13

Entering DISCOVERING state

Using default GUID 0x1175000076e4c8
SM port is down

и остается в этой точке.

Обновление 2: Мне не удалось заставить мою конфигурацию работать с пакетами RedHat. Пакеты OFED от openfabrics тоже не работали. Но я нашел официальные драйверы от Intel (которая приобрела QLogic в начале этого года), которые работают. Отчасти потому, что даже когда я заставляю карты работать и разговаривать друг с другом, после перезагрузки они никогда не возвращаются в состояние PORT_ACTIVE. Что ж, я, наверное, задам еще один вопрос по этому поводу.

redhat infiniband

Поздний ответ, но на самом деле это известная ошибка в драйвере Intel.

Попробуйте запустить это после запуска:

ibportstate -D 0 1 enable

Возможно, вам стоит попробовать поискать драйверы, поставляемые производителем карты - QLogic.

Да, это так
Да, пакеты RHEL в 6.3 должны работать
Это хороший вопрос

Что показывает вывод ibstat? Физическое состояние порта ухудшилось? Ответ, наверное, «да». Я думаю, у вас какие-то проблемы с кабелем или подключением. Состояние порта в ibv_devinfo перед запуском SM должно быть PORT_INIT. PORT_DOWN указывает, что у вас нет ссылки.

Старый вопрос, но вот мой ответ.

1) У вас загружен драйвер ядра для карты? Это должно быть ib_qib

пытаться:

lsmod | grep ib_qib

Если он не загружен, настройте его для загрузки при загрузке в / etc / modules или что-то еще, что стандарт redhat использует для такого рода вещей. (это / etc / modules в системах на основе Debian).

Также, если вы хотите запустить IPoIB, вам необходимо загрузить этот модуль. Это мой рекомендуемый минимум для вашего случая.

ib_qib
rdma_ucm
ib_umad
ib_uverbs
ib_ipoib

2) Убедитесь, что диспетчер подсети запущен. Вам нужно, чтобы он работал на обоих портах. Таким образом, вы увидите две копии менеджера подсети, запущенные в списке процессов, по одной для каждого порта.