У нас есть сервер CentOS, на котором запущен кластер виртуальных машин. Иногда внутренняя сеть кластера отключается на минуту или около того ... а затем возвращается. Проблема как-то связана с реальным сетевым трафиком, но это не просто проблема нагрузки. (Система обычно слегка загружена, и проблема возникает независимо от фактической нагрузки.)
Настройка:
Система имеет один видимый извне IP-адрес, и Dom0 запускает Apache httpd, настроенный с несколькими виртуальными хостами, каждый из которых обратный прокси-сервер к веб-серверам, работающим на виртуальных машинах. (Виртуальные машины должны быть привязаны к NAT, в первую очередь потому, что у нас недостаточно выделенных общедоступных IP-адресов.)
Симптомы:
Это 100% воспроизводимость.
Что мы пробовали:
Я исчерпал все свои возможности, кроме перехода на KVM ... или зарезания еще петухов.
Какие-либо предложения?
В конце концов мы нашли проблему. Оказалось, что это вызвано проблемой в конфигурации нашей виртуальной сети. По какой-то причине, которую я уже не могу точно вспомнить, сетевой трафик для этой конкретной загрузки проходил через виртуальные сети по дополнительному циклу. Когда пользователь пытался загрузить большой файл, загрузка ограничивала все доступные сетевые буферы ядра. Это приводило к зависанию всей сети ... до тех пор, пока что-то не истекло и все не было заблокировано.
Мне жаль, что все это немного расплывчато, но здесь могут быть подсказки для людей, столкнувшихся с аналогичной проблемой.
Вы можете взглянуть на конфигурацию избыточного использования памяти и / или подкачки. Если любой из них «настроен до упора», то загрузка большого файла может стать триггером для управления этими ресурсами, что приведет к недоступности до завершения управления.
Возможно, существует ограниченное количество сетевых потоков для подключения виртуальных машин к хосту, и загрузка больших файлов в конечном итоге занимает их все, а остальные теряют сигнал. Других догадок у меня нет. Сожалею.
Вы уверены, что у вас нет конфликтов MAC-адресов?
Это просто безумная догадка, но это легко происходит, если копировать файлы конфигурации Xen domU, но забыть изменить MAC, чтобы он был уникальным для каждого domU и интерфейса. Я видел, как это вызывает странные сетевые проблемы, когда время от времени теряется все соединение ровно на 60 секунд.