Мы широко используем связи LACP (режим 4) в нашей среде, и я иногда сталкиваюсь с проблемами при новых развертываниях, когда кабели перекрещиваются или порты коммутатора неправильно настроены, что приводит к плохим состояниям портов LACP.
Одна вещь, которую я использовал для устранения неполадок, - это значение функционального ключа партнера. Обычно они совпадают, а когда нет, это заставляет меня подозревать возможную проблему с перекрестным кабелем. Я пытался исследовать это, но мне трудно найти окончательный ответ. Итак, разумно ли ожидать, что операционные ключи в группе каналов LACP всегда будут использовать один и тот же операционный ключ, или есть случаи, когда они могут отличаться в правильно настроенной группе?
Например:
# grep -A6 "partner lacp pdu" /proc/net/bonding/bond0
details partner lacp pdu:
system priority: 32768
system mac address: 70:e4:23:92:42:b7
oper key: 205
port priority: 32768
port number: 92
port state: 61
--
details partner lacp pdu:
system priority: 32768
system mac address: 70:e4:23:92:42:b7
oper key: 206
port priority: 32768
port number: 94
port state: 13
В этом примере я знаю, что состояние второго партнера плохое - я просто пытаюсь найти хороший способ определить, «почему» это плохо.
Я только что вошел на 400 серверов, все в режиме LACP 4. Два интерфейса, 25 Гбит / с, всего 50 Гбит / с. 2x Cisco 9600 LACP mode 4, установленных в канале порта для объединения обоих портов. Один кабель подключается к другому коммутатору, чтобы обеспечить резервирование питания, коммутатора, кабеля, стойки и интерфейса.
Операционная клавиша одинакова для всех.
Я включаю рабочий залог ниже.
На ваш вопрос приходит на ум несколько вещей,
Одна вещь, которую я использовал для устранения неполадок, - это значение функционального ключа партнера. Обычно они совпадают, а когда нет, это заставляет меня подозревать возможную проблему с перекрестным кабелем.
Эту проблему можно решить, используя стандартную кабельную систему. Все наши кабели, идущие по левой стороне стойки, все подключаются к левой стороне коммутатора (или в данном случае на одну стойку), и все кабели, идущие с правой стороны, идут к правой стороне коммутатора. переключатель. Похоже, что у сервера 1 есть кабель к порту 1 или порту 48. Это поможет вам, поскольку он создает стандартную модель для подсчета. Сервер 5 будет портом 43 и портом 5. Легко отслеживать, легко общаться.
Еще одна мысль: мы используем MAC-адреса для отслеживания участников LACP. Я мог войти на сервер, используя radssh + racadm (внеполосный доступ) или radssh (используя ssh), чтобы выполнить массовый вход на все мои серверы и получить список (не bond0, нам нужны фактические участники) MAC-адресов. Передайте заполненный список MAC-адресов сетевой команде и сравните список участников со списком MAC-адресов.
sudo cat /etc/sysconfig/network-scripts/ifcfg-bond0
DEVICE=bond0
NAME=bond0
#NM_CONTROLLED=no
IPADDR=$SERVER_IP
PREFIX=22
GATEWAY=$GATEWAY_IP
ONBOOT=yes
BOOTPROTO=none
BONDING_OPTS="miimon=100 mode=4 lacp_rate=1 xmit_hash_policy=layer3+4"
sudo cat /etc/sysconfig/network-scripts/ifcfg-enp10s0f0
DEVICE=enp10s0f0
TYPE="Ethernet"
BOOTPROTO="none"
ONBOOT="yes"
MASTER=bond0
SLAVE=yes
##HWADDR=<MAC>:2C:6C
#DEFROUTE="yes"
#PEERDNS="yes"
#PEERROUTES="yes"
IPV4_FAILURE_FATAL="no"
IPV6_FAILURE_FATAL="no"
NAME="enp10s0f0"
sudo cat /proc/net/bonding/bond0
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)
Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer3+4 (1)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
802.3ad info
LACP rate: fast
Min links: 0
Aggregator selection policy (ad_select): stable
Active Aggregator Info:
Aggregator ID: 2
Number of ports: 2
Actor Key: 1
Partner Key: 32875
Partner Mac Address: <MAC>:be:03
Slave Interface: enp10s0f0
MII Status: up
Speed: 25000 Mbps
Duplex: full
Link Failure Count: 7
Permanent HW addr: <MAC>:ea:7c
Slave queue ID: 0
Aggregator ID: 2
Actor Churn State: none
Partner Churn State: none
Actor Churned Count: 6
Partner Churned Count: 6
details actor lacp pdu:
system priority: 65535
port key: 1
port priority: 255
port number: 1
port state: 63
details partner lacp pdu:
system priority: 32667
oper key: 32875
port priority: 32768
port number: 263
port state: 60
Slave Interface: p8p2
MII Status: up
Speed: 25000 Mbps
Duplex: full
Link Failure Count: 7
Permanent HW addr: <MAC>:ea:7d
Slave queue ID: 0
Aggregator ID: 2
Actor Churn State: none
Partner Churn State: none
Actor Churned Count: 5
Partner Churned Count: 5
details actor lacp pdu:
system priority: 65535
port key: 1
port priority: 255
port number: 2
port state: 63
details partner lacp pdu:
system priority: 32667
oper key: 32875
port priority: 32768
port number: 16647
port state: 60