Я использовал mpong из пакета mtools 29west, чтобы получить общее представление о задержке многоадресной рассылки на различных коммутаторах Cisco: 1 Гб 2960 Гб, 10 Гб 4900 М и 10 Гб Nexus N5548P. 1 Гб просто для сравнения.
У меня есть следующие результаты для ~ 400 прогонов mpong на каждом коммутаторе (отправка 65536 «ping» -подобных сообщений получателю, который затем отправляет обратно - по всей многоадресной передаче). Числа - это задержки, измеряемые в микросекундах.
Switch Average StdDev Min Max
2960 (1Gb) 109.68463 0.092816 109.4328 109.9464
4900M (10Gb) 705.52359 1.607976 703.7693 722.1514
NX 5548(10Gb) 58.563774 0.328242 57.77603 59.32207
Результат для 4900M очень удивителен. Я пробовал одноадресный пинг и вижу, что у 4900 задержка на ~ 10 мкс выше, чем у N5548P (в среднем 73 мкс против 64 мкс). Iperf (без попытки настроить его) показывает, что оба коммутатора 10 Гбит / с дают мне линейную скорость 9,4 Гбит / с.
Две машины подключены к одному коммутатору, и мы не выполняем многоадресную маршрутизацию. ОС - RHEL 6. Сетевые адаптеры 10 Гбит / с - это двухпортовые сетевые адаптеры HP 10GbE PCI-E G2 (я считаю, что это карты Mellanox с ребрендингом).
Коммутатор 4900 используется в проекте с жестким контролем доступа, поэтому я жду утверждения, прежде чем смогу получить к нему доступ и проверить конфигурацию. Два других у меня есть полный доступ для настройки.
Я просмотрел документ Cisco [1], в котором подробно описаны различия между NX-OS и IOS с многоадресной рассылкой, поэтому у меня есть несколько идей, которые можно попробовать, но это не та область, в которой я обладаю большим опытом.
Кто-нибудь знает, на что я должен смотреть, как только получу доступ к коммутатору?
[1] http://docwiki.cisco.com/wiki/Cisco_NX-OS/IOS_Multicast_Comparison
Изменить (12 января 09:45 по Гринвичу):
В 4900M включено отслеживание IGMP. Я не вижу потери пакетов или ошибок на счетчиках коммутатора или серверов.
Я посмотрел на использование ЦП, и, похоже, он составляет 94% при отправке сообщений ping. 75% - это «Cat4k Mgmt LoPri», 6% - «IP Input», 3% - «Cat4k Mgmt HiPri»
Edit2 (12 января 1000 по Гринвичу):
Использование ЦП упадет до 8%, как только я остановлю сообщения.
Edit3 (13 января 09:45 по Гринвичу):
Проблема связана с уровнем 3. Если я отключу интерфейс VLAN, то задержка упадет до 72 мкс.
Конфигурация для vlan:
vlan 110 name 192.168.110/24-10Ge end ...snip... interface Vlan110 description 10G Test Vlan ip address 192.168.110.4 255.255.255.0 ip pim sparse-mode end
Дэйв, твой прогноз уровня 3 может быть верным.
попробуйте эти две документации: http://www.cisco.com/en/US/products/hw/switches/ps663/products_tech_note09186a00804cef15.shtml
у вас включена многоадресная маршрутизация IP? отключить это.
включить отслеживание igmp, включить mrouter - решение 3 (http://www.cisco.com/en/US/products/hw/switches/ps708/products_tech_note09186a008059a9df.shtml#solu1) на переключателе.
Сисон (Торонто)
Решено. Проблема заключалась в том, что не было настроено PIM RP.
Включена ли на 4900 «ip mcast cef» (или какая-то другая команда «использовать cef для многоадресной пересылки»)? Некоторые платформы по умолчанию используют коммутацию процессов для многоадресной пересылки (а некоторые платформы с некоторыми версиями IOS будут иметь интересные сценарии сбоев с использованием CEF для многоадресной рассылки, так что ....), и это вызовет чрезмерную нагрузку и задержку.