Назад | Перейти на главную страницу

Не удается настроить Mellanox connectx-2 на скорости 40 г

У меня сетевая карта Mellanox connectX-2 (MT26428) и я установил MLNX_OFED_LINUX-3.4-1.0.0.0-ubuntu16.04-x86_64 драйвер из репозитория Mellanox, но мне интересно, что это оборудование настраивает максимум 20G, хотя я ожидал, что вместо этого он установит 40G.

вот результат ibstatus: 

Infiniband device 'mlx4_0' port 1 status:
  default gid:   0000:0000:0000:0000:0000:0000:0000:0000
  base lid:  0x6
  sm lid:        0x2f
  state:         4: ACTIVE
  phys state:    5: LinkUp
  rate:      20 Gb/sec (4X DDR)
  link_layer:    InfiniBand

Infiniband device 'mlx4_0' port 2 status:
  default gid:   0000:0000:0000:0000:0000:0000:0000:0000
  base lid:  0x0
  sm lid:        0x0
  state:         4: ACTIVE
  phys state:    5: LinkUp
  rate:      10 Gb/sec (1X QDR)
  link_layer:    Ethernet

Infiniband device 'mlx4_1' port 1 status:
  default gid:   0000:0000:0000:0000:0000:0000:0000:0000
  base lid:  0x0
  sm lid:        0x0
  state:         1: DOWN
  phys state:    2: Polling
  rate:      10 Gb/sec (4X)
  link_layer:    InfiniBand

Infiniband device 'mlx4_1' port 2 status:
  default gid:   0000:0000:0000:0000:0000:0000:0000:0000
  base lid:  0x0
  sm lid:        0x0
  state:         4: ACTIVE
  phys state:    5: LinkUp
  rate:      10 Gb/sec (1X QDR)
  link_layer:    Ethernet

Обратите внимание, что значение gid по умолчанию является разумным, и я меняю его из соображений безопасности.

Обратите внимание, что эти платы connectX-2 подключаются коммутатором (модель) с помощью 12-метрового медного кабеля QSFP. Я также тестировал его с помощью медного кабеля QSFP длиной 10 м и 1 м, соединенного друг с другом, без включения переключателя, и, к сожалению, получил тот же результат.

Вероятно, это проблема несовместимости кабелей. Без публикации модели кабелей невозможно узнать, совместимы ли используемые кабели с QDR. Обратите внимание, что кабели DDR, QDR и FDR легко перепутать, потому что все они могут выглядеть одинаково. Проверка модели - единственный способ узнать возможности кабеля.

Вы можете найти подробную информацию о кабелях, запустив ibdiagnet от Mellanox OFED. Обратите внимание, что плагин идентификации кабеля недоступен в утилитах, поставляемых с дистрибутивом.

ibdiagnet --get_cable_info

Будет вывод в файл, ibdiagnet2.cables. Посмотрите на вывод программы, чтобы узнать точный путь. Для каждой системы / порта / LID вы найдете подробную информацию о подключенных кабелях.