Назад | Перейти на главную страницу

Случайное временное зависание сети на гостевых машинах kvm

Я использую две гостевые машины под KVM. Хост работает под управлением Arch Linux (версия ядра 2.6.38.2), гостями являются CentOS 5.5 (версия ядра 2.6.18). У меня сеть настроена как мост, примерно так (я, конечно, не делаю это вручную - он разбросан по скриптам запуска системы)

# /usr/sbin/brctl addbr br0
# /usr/sbin/brctl addif br0 eth0
# /sbin/ifconfig br0 192.168.3.30 netmask 255.255.255.0 broadcast 192.168.3.255 up
# qemu-kvm -hda <disk-image1> -m 2048 -vga std -vnc :3 -net nic,vlan=0 -net tap,vlan=0,ifname=tap0,script=/etc/qemu-ifup
# qemu-kvm -hda <disk-image2> -m 2048 -vga std -vnc :4 -net nic,vlan=0 -net tap,vlan=0,ifname=tap1,script=/etc/qemu-ifup
# cat /etc/qemu-ifup
#!/bin/sh
sudo /sbin/ifconfig $1 0.0.0.0 promisc up
sudo /usr/sbin/brctl addif br0 $1

Конфигурация в основном работает. Что странно, я получаю частые паузы в сети. Большинство моих взаимодействий с виртуальными машинами происходит через ssh или веб-браузер. Часто, особенно после простоя, я набираю что-то в сеансе или открываю веб-страницу, и ничего не происходит. В конце концов, через 10-15 секунд нормальная работа возобновится без ошибок. ssh нажатия клавиш из мертвого времени проходят в спешке. Кажется, что веб-запросы теряются, но быстрая «перезагрузка страницы» дает результат без промедления. Виртуальная машина в целом продолжает работать все время, как я могу видеть, наблюдая за сеансом VNC на консоли. Таким образом, два гостя независимы. Иногда оба будут заморожены одновременно, но иногда один будет работать нормально, а другой заморожен. Во время зависания в dmesg на хосте или гостевой системе нет ошибок.

Есть идеи решения, причины или дальнейшего диагноза?


(дополнительная информация, 27.07)

Вот вывод ifconfig -a на хосте:

hope 5$ sudo ifconfig -a
br0       Link encap:Ethernet  HWaddr 4A:F0:CA:32:F5:88  
          inet addr:192.168.3.30  Bcast:192.168.3.255  Mask:255.255.255.0
          inet6 addr: fe80::7271:bcff:fea2:f4c4/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:140947463 errors:0 dropped:0 overruns:0 frame:0
          TX packets:66981660 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:192776331275 (183845.8 Mb)  TX bytes:9469675717 (9030.9 Mb)

br0:1     Link encap:Ethernet  HWaddr 4A:F0:CA:32:F5:88  
          inet addr:192.168.3.31  Bcast:192.168.3.255  Mask:255.255.255.0
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1

br0:2     Link encap:Ethernet  HWaddr 4A:F0:CA:32:F5:88  
          inet addr:192.168.3.32  Bcast:192.168.3.255  Mask:255.255.255.0
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1

eth0      Link encap:Ethernet  HWaddr 70:71:BC:A2:F4:C4  
          inet6 addr: fe80::7271:bcff:fea2:f4c4/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:141848164 errors:0 dropped:0 overruns:0 frame:0
          TX packets:68852413 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:195831275369 (186759.2 Mb)  TX bytes:9559920997 (9117.0 Mb)
          Interrupt:20 Memory:d0300000-d0320000 

lo        Link encap:Local Loopback  
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:16436  Metric:1
          RX packets:27197534 errors:0 dropped:0 overruns:0 frame:0
          TX packets:27197534 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:127242745992 (121348.1 Mb)  TX bytes:127242745992 (121348.1 Mb)

sit0      Link encap:UNSPEC  HWaddr 00-00-00-00-00-00-00-00-00-00-00-00-00-00-00-00  
          NOARP  MTU:1480  Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:0 (0.0 b)  TX bytes:0 (0.0 b)

tap0      Link encap:Ethernet  HWaddr 4A:F0:CA:32:F5:88  
          inet6 addr: fe80::48f0:caff:fe32:f588/64 Scope:Link
          UP BROADCAST RUNNING PROMISC MULTICAST  MTU:1500  Metric:1
          RX packets:397512 errors:0 dropped:0 overruns:0 frame:0
          TX packets:668318 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:500 
          RX bytes:38045826 (36.2 Mb)  TX bytes:750358170 (715.5 Mb)

tap1      Link encap:Ethernet  HWaddr 56:92:5E:DE:93:67  
          inet6 addr: fe80::5492:5eff:fede:9367/64 Scope:Link
          UP BROADCAST RUNNING PROMISC MULTICAST  MTU:1500  Metric:1
          RX packets:25635 errors:0 dropped:0 overruns:0 frame:0
          TX packets:88846 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:500 
          RX bytes:1999805 (1.9 Mb)  TX bytes:17071986 (16.2 Mb)

вывод brctl show на хосте:

hope 6$ sudo brctl show
bridge name bridge id               STP enabled     interfaces
br0         8000.4af0ca32f588       no              eth0
                                                    tap0
                                                    tap1

вывод ifconfig -a для одного гостя:

guest1# ifconfig -a
eth0      Link encap:Ethernet  HWaddr 52:54:00:12:34:56  
          inet addr:192.168.3.35  Bcast:192.168.3.255  Mask:255.255.255.0
          inet6 addr: fe80::5054:ff:fe12:3456/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:323061 errors:0 dropped:0 overruns:0 frame:0
          TX packets:210150 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:298541685 (284.7 MiB)  TX bytes:25958962 (24.7 MiB)
          Interrupt:11 Base address:0x4000 

lo        Link encap:Local Loopback  
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:16436  Metric:1
          RX packets:2305 errors:0 dropped:0 overruns:0 frame:0
          TX packets:2305 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:481780 (470.4 KiB)  TX bytes:481780 (470.4 KiB)

sit0      Link encap:IPv6-in-IPv4  
          NOARP  MTU:1480  Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:0 (0.0 b)  TX bytes:0 (0.0 b)

и то же самое с другим гостем:

guest2# ifconfig -a
eth0      Link encap:Ethernet  HWaddr 52:54:00:12:34:56  
          inet addr:192.168.3.36  Bcast:192.168.3.255  Mask:255.255.255.0
          inet6 addr: fe80::5054:ff:fe12:3456/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:62641 errors:0 dropped:0 overruns:0 frame:0
          TX packets:25718 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:10789140 (10.2 MiB)  TX bytes:2012261 (1.9 MiB)
          Interrupt:11 Base address:0x4000 

lo        Link encap:Local Loopback  
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:16436  Metric:1
          RX packets:182 errors:0 dropped:0 overruns:0 frame:0
          TX packets:182 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:25798 (25.1 KiB)  TX bytes:25798 (25.1 KiB)

sit0      Link encap:IPv6-in-IPv4  
          NOARP  MTU:1480  Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:0 (0.0 b)  TX bytes:0 (0.0 b)

Я наконец нашел правильный ответ на этот вопрос.

Краткий ответ: конфликт MAC-адресов.

Длинный ответ: для каждой виртуальной машины qemu создает виртуальную сетевую карту. Он назначает MAC-адрес этому виртуальному сетевому адаптеру. По умолчанию он назначает фиксированный адрес (52: 54: 00: 12: 34: 56) каждой сетевой карте. Если вы запустите более одного гостя на одном хосте, все они получат один и тот же фиксированный адрес. Вы даже можете увидеть это в выходных данных ifconfig в моем исходном вопросе. Естественно, это проблема, если вы объединяете гостей вместе, поскольку это то же самое, что иметь две физические машины с одинаковым MAC-адресом в одной сети. ARP делает все возможное и переключается между ними, но с большими таймаутами, что дает мне результаты, которые я видел.

Итак, решение состоит в том, чтобы добавить флаги «macaddr = ...» к параметру -net для каждого гостя, чтобы каждый из них имел уникальный MAC-адрес. Пример:

# qemu-kvm -hda <disk-image1> -m 2048 -vga std -vnc :3 -net nic,vlan=0,macaddr=52:54:00:00:00:03 -net tap,vlan=0,ifname=tap0,script=/etc/qemu-ifup
# qemu-kvm -hda <disk-image2> -m 2048 -vga std -vnc :4 -net nic,vlan=0,macaddr=52:54:00:00:00:04 -net tap,vlan=0,ifname=tap1,script=/etc/qemu-ifup

На мой взгляд, поведение qemu по умолчанию должно быть более разумным в этом отношении, но я полагаю, что довольно важно, чтобы каждый гость получал один и тот же MAC-адрес при каждом запуске, независимо от того, в каком порядке они запускаются. Возможно, авторы не могли придумать способ обеспечить это.

В любом случае, если вы используете несколько гостей в одной сети (виртуальной или другой), убедитесь, что вы задали MAC-адреса явно и однозначно. В противном случае вы столкнетесь с той же проблемой.

две причины могут быть причиной этой проблемы: 1. ldap 2. NetworkManager.

так что решите это, отключите ldap и NetworkManager