У меня есть два хоста с 10-гигабитными картами Voltaire HCA500Ex-D (MT25408 ConnectX Mellanox), подключенными к коммутатору Cisco SFS7000d IB через 3-метровые кабели CX4.
Меня действительно беспокоит задержка, которая выше, чем при подключении к Ethernet 1 Гбит с использованием тех же хостов.
[root@localhost ~]# ibping -G 0x0008f104039a5589 Pong from host-a.(none) (Lid 3): time 0.238 ms Pong from host-a.(none) (Lid 3): time 0.291 ms Pong from host-a.(none) (Lid 3): time 0.320 ms Pong from host-a.(none) (Lid 3): time 0.290 ms Pong from host-a.(none) (Lid 3): time 0.335 ms Pong from host-a.(none) (Lid 3): time 0.281 ms Most people are having 0.040ms - 0.050ms results using same IB cards.
Коммутатор Cisco IB и карты используют последнюю версию прошивки.
Я пробовал соединить два хоста подряд, переключение было устранено, но задержка по-прежнему составляет 0,200 мс +
Любые идеи?
Скачивание и установка последней версии Open Fabrics Enterprise Distribution (OFED) предоставит вам доступ к множеству инструментов, включая ibdiagnet а также несколько других инструментов для тестирования и настройки производительности IB. В дополнение к этим инструментам он даст вам возможность установить и настроить openibd и OpenSM, а также менеджер подсети с открытым исходным кодом.
Исходя из документации,
Коммутатор Cisco SFS7000d IB
Вы упомянули, что у него есть собственный встроенный менеджер подсети IB. Было бы полезно либо
Отключите диспетчер подсети на коммутаторе и настройте OpenSM на одном из серверов.
Убедитесь, что конфигурация диспетчера подсети на коммутаторе подходит для вашей сети.
В дополнение к этим шагам существует ряд других тестов, которые могут эффективно измерить задержку и пропускную способность в бесконечной полосе. Используя реализацию интерфейса передачи сообщений (MPI) (OpenMPI или проприетарная версия), тестовый пинг-понг. Вот хороший пример установка и настройка теста MPI ping-pong с OpenMPI over IB.
Иногда задержка выше ожидаемой зависит от плохого режима энергосбережения.
Попробуйте отключить все параметры управления питанием как в BIOS, так и в драйверах карты на обоих хостах, затем повторите тест ping с прямым подключением к серверу.
Это что-то меняет?