У нас есть 5 физических машин, размещенных в OVH. На каждом из них установлен Proxmox 5.2-10. Машины находятся внутри OVH vRack. у нас есть отдельный LXC для базы данных, отдельный LXC с балансировщиком нагрузки и несколько отдельных экземпляров с нашим стеком веб-приложений (php и nginx).
Когда мы через некоторое время помещаем больше LXC с нашим веб-стеком на одну физическую машину, все они, кроме одного, просто зависают. PHP и nginx не отвечают в сети. Средняя нагрузка на физический сервер внезапно начинает расти. Можно войти в LXC через ssh или pct enter, но невозможно завершить работу через веб-интерфейс Proxmox, процесс LXC должен быть принудительно остановлен.
Эта проблема начала появляться, когда мы обновили PHP с 7.0 до 7.2. Я не думаю, что это могло быть как-то связано, но я никогда раньше не сталкивался с подобным поведением. Пока что мы не смогли придумать никакого решения, кроме хранения веб-LXC на отдельных машинах. LXC, у которых нет нашего стека веб-приложений, обычно могут быть вместе на одной физической машине.
Мы считаем, что это как-то связано с нетворкингом. Некоторые файлы доступны через NFS на всех LXC. Может ли это быть намеком? Но опять же проблема только в веб-LXC. Другой контейнер с общими файлами может нормально работать вместе.
Пример настройки сетевых интерфейсов LXC:
auto lo
iface lo inet loopback
iface lo inet6 loopback
# interfaces(5) file used by ifup(8) and ifdown(8)
# Include files from /etc/network/interfaces.d:
source-directory /etc/network/interfaces.d
auto eth0
iface eth0 inet static
address 5.39.56.172
netmask 255.255.255.224
gateway 5.39.56.190
auto eth1
iface eth1 inet static
address 172.16.32.172
netmask 255.240.0.0
Пример конфигурации интерфейсов хост-машины:
auto lo
iface lo inet loopback
iface eno1 inet manual
auto eno2
iface eno2 inet manual
auto vmbr0
iface vmbr0 inet static
address 147.135.254.187
netmask 255.255.255.0
gateway 147.135.254.254
bridge-ports eno1
bridge-stp off
bridge-fd 0
iface vmbr0 inet6 static
address 2001:41d0:303:2dbb::
netmask 64
auto vmbr1
iface vmbr1 inet static
address 172.16.35.1
netmask 255.240.0.0
broadcast 172.31.255.255
bridge-ports eno2
bridge-stp off
bridge-fd 0
network 172.16.0.0