Сервер зависает без паники ядра
У нас запущен узел KVM, который нерегулярно дает сбой, демонстрируя очень странное поведение. Интересно то, что у нас уже была эта проблема с другим узлом, который падал каждые 1-2 недели. Поскольку мы не смогли найти проблемы с оборудованием, мы начали перенос виртуальных машин на новый узел. Примерно через неделю после того, как мы перенесли 50% виртуальных машин, новый узел вышел из строя, а «старый» с тех пор работает нормально (время безотказной работы 3 недели, мы не видели такого большого времени безотказной работы в течение нескольких месяцев).
Когда узел выходит из строя, мы иногда видим эти странные вещи на Supermicro IPMI:
Мы также видели:
- «Нет сигнала», например, сервер был выключен (конечно, это не было, и он также никогда не отображался как выключенный на главной странице IPMI)
- Обычный экран входа в систему или другой нормальный вывод с сервера, но завис
Чего мы никогда не видели, так это паники ядра или хотя бы некоторых сообщений в журналах до сбоя, полная тишина, пока внезапно не погаснет свет.
Поскольку проблема «перемещалась» с одного сервера на другой (совершенно новая машина), на мой взгляд, осталось только несколько вариантов:
- Определенная виртуальная машина вызывает проблему
- Ошибка ядра
- Аппаратная проблема, связанная с нашей настройкой
Подробнее о машинах:
- CentOS 7 с последней версией ядра (3.10.0-514.2.2.el7.x86_64)
- Корпус Supermicro с резервными источниками питания
- Supermicro X10DRi / X10DRWi с последней версией BIOS
- Intel Xeon E5-2630 v3 / v4
- 512 ГБ DDR4 ECC RAM (серверная RAM Samsung)
- 145 работающих виртуальных машин (ОЗУ и ЦП далеко не загружены, также благодаря KSM)
- Программный RAID-10 с 8/16 SSD
Кто-нибудь видел такое поведение или может что-то сказать по поводу странных "сообщений" на консоли? Я никогда не видел ничего подобного и даже не знаю, как это описать для поиска в Google. На данный момент мы не очень хорошо представляем, что делать дальше, поскольку это может быть все.
Заранее спасибо!
Это может быть ошибка процессора. Корпорация Intel опубликовала список ошибок, связанных с этой проблемой, и также предоставила обновление микрокода для процессоров E5 v3 / v4 (код даты 20170707). CentOS 7.4 уже имеет более новую версию микрокода 0xb000021 (в CentOS 7.3 это был 0xb00001e). Может помочь замена микрокода или обновление до 7.4. У меня тоже было много проблем с зависанием этой системы. Я безуспешно поменял системную плату (X10DRi), ОЗУ, ЦП и блок питания. Я не могу точно сказать, является ли это решением, потому что у меня недостаточно времени безотказной работы с тех пор, как я обновил микрокод. Supermicro до сих пор не предоставляет обновленный BIOS с текущим микрокодом Intel. Вы можете получить неофициальную предварительную версию X10DRI у своего дистрибьютора.
Краткое обновление по этому поводу: после обновления до новейшего ядра LTS (4.4.39) сервер стал стабильным. Время безотказной работы 19 дней, так что я думаю, что мы его получили. Хотя мы действительно не знаем первопричину, мы думаем, что ядро CentOS 7 (3.10) может быть слишком старым для очень современного оборудования. Поскольку мы не можем предоставить полезное сообщение об ошибке (например, панику ядра в лучшем случае), мы решили не сообщать об этом разработчикам CentOS.