Мой сервер случайным образом зависает и перестает отвечать без регистрации (dmesg, syslog, kern.log, boot.log и сообщения). Я не могу предсказать, когда это произойдет. Иногда сервер работает нормально в течение нескольких месяцев, и внезапно это начинает повторяться. За последнюю неделю это произошло более 8 раз. Такая ситуация наблюдается уже не один год.
Журнал ядра всегда один и тот же:
Jan 24 03:20:34 voyager dnsmasq-dhcp[4476]: DHCPREQUEST(br100) 192.168.145.3 fa:16:3e:4e:e0:d5
Jan 24 03:20:34 voyager dnsmasq-dhcp[4476]: DHCPACK(br100) 192.168.145.3 fa:16:3e:4e:e0:d5 viaapp
Jan 24 03:20:37 voyager dnsmasq-dhcp[4476]: DHCPREQUEST(br100) 192.168.145.9 fa:16:3e:62:09:86
Jan 24 03:20:37 voyager dnsmasq-dhcp[4476]: DHCPACK(br100) 192.168.145.9 fa:16:3e:62:09:86 web-sistemas
Jan 24 03:20:38 voyager dnsmasq-dhcp[4476]: DHCPREQUEST(br100) 192.168.145.16 fa:16:3e:79:dd:f8
Jan 24 03Jan 24 03:22:47 voyager kernel: imklog 5.8.6, log source = /proc/kmsg started.
Jan 24 03:22:47 voyager rsyslogd: [origin software="rsyslogd" swVersion="5.8.6" x-pid="2040" x-info="http://www.rsyslog.com"] start
Jan 24 03:22:47 voyager rsyslogd: rsyslogd's groupid changed to 103
Jan 24 03:22:47 voyager rsyslogd: rsyslogd's userid changed to 101
Jan 24 03:22:47 voyager rsyslogd-2039: Could not open output pipe '/dev/xconsole' [try http://www.rsyslog.com/e/2039 ]
Jan 24 03:22:47 voyager kernel: [ 0.000000] Initializing cgroup subsys cpuset
Jan 24 03:22:47 voyager kernel: [ 0.000000] Initializing cgroup subsys cpu
Jan 24 03:22:47 voyager kernel: [ 0.000000] Linux version 3.2.0-60-generic (buildd@toyol) (gcc version 4.6.3 (Ubuntu/Linaro 4.6.3-1ubuntu5) ) #91-Ubuntu SMP Wed Feb 19 03:54:44 UTC 2014 (Ubuntu 3.2.0-60.91-generic 3.2.55)
Jan 24 03:22:47 voyager kernel: [ 0.000000] Command line: BOOT_IMAGE=/vmlinuz-3.2.0-60-generic root=UUID=c8dba39e-4d36-4528-9432-d610fce72407 ro crashkernel=384M-2G:64M,2G-:128M console=tty1 console=ttyS0,115200n8
Сервер оснащен материнской платой Intel S5500BC, процессором Intel Xeon E5630, 32 ГБ оперативной памяти и четырьмя дисками Seagate Barracuda 2 ТБ 7200 RPMST2000DM001. Я использую Ubuntu 12.04.2 LTS с ядром 3.2.0-60-generic, а жесткий диск является частью мягкого RAID 10 с использованием md. Я также запускаю несколько виртуальных машин с использованием kvm и libvirt.
Вначале я думал, что это связано с использованием ввода-вывода. Я сделал упор на ЦП, ввод-вывод, ввод-вывод жесткого диска и выделение памяти, используя множество инструментов, включая dd, stress и некоторые сценарии, которые я разработал на bash / python. Мне никогда не удавалось воспроизвести проблему.
Все жесткие диски проходят краткую и длительную самотестирование smartctl. Сообщение об ошибке отсутствует.
Я также установил linux-crashdump, но он также ничего не может регистрировать. Каждые две секунды я запускал скрипт для сбора данных с датчиков, и температура казалась нормальной - ниже 55 градусов по Цельсию.
Я уже заменил материнскую плату, оперативную память и жесткие диски, но проблема осталась. Таким образом, я предполагаю, что это не связано с оборудованием, и по какой-либо причине ОС не может писать журналы. Я также протестировал оперативную память с помощью memtest, и она успешно прошла четыре цикла.
Единственное, что я заметил, это то, что когда я запускаю стресс-тест с stress, Я получил следующий журнал: [28189.472043] ИНФОРМАЦИЯ: задача kvm: 5058 заблокирована более 120 секунд.
Я включил IPMI, и он отвечает, когда сервер зависает. Я использовал его для сбора датчиков, а также журнала событий. Поскольку в журнале всегда есть записи о блоке питания, я уже трижды заменял блок питания. IPMI избавляет меня от простоев, поскольку я использую его для перезагрузки сервера. Сервер подключен к непрерывной сети, к которой подключено еще 3 сервера. Ни на одном другом сервере нет проблем.
bc3 | 01/22/2015 | 22:47:41 | Power Unit Pwr Unit Status | Power off/down | Asserted
bc4 | 01/22/2015 | 22:47:41 | Power Unit Pwr Unit Status | Failure detected | Asserted
bc5 | 01/22/2015 | 22:47:46 | Power Unit Pwr Unit Status | Power off/down | Deasserted
bc6 | 01/22/2015 | 22:47:46 | Power Unit Pwr Unit Status | Failure detected | Deasserted
bc7 | 01/22/2015 | 22:47:49 | Fan System Fan 3 | Lower Non-critical going low | Deasserted | Reading 0
bc8 | 01/22/2015 | 22:47:49 | Fan System Fan 3 | Lower Critical going low | Deasserted | Reading 0
bc9 | 01/22/2015 | 22:47:56 | Fan System Fan 3 | Lower Non-critical going low | Asserted | Reading 0 < Threshold 374 RPM
bca | 01/22/2015 | 22:47:56 | Fan System Fan 3 | Lower Critical going low | Asserted | Reading 0 < Threshold 330 RPM
bcb | 01/22/2015 | 22:48:01 | System Event BIOS Evt Sensor | Timestamp Clock Sync | Asserted
bcc | 01/22/2015 | 22:48:02 | System Event BIOS Evt Sensor | Timestamp Clock Sync | Asserted
bcd | 01/22/2015 | 22:48:43 | System Event BIOS Evt Sensor | OEM System boot event | Asserted
bce | 01/22/2015 | 22:48:51 | Critical Interrupt PCIe Cor Sensor | | Asserted
Иногда сервер перезагружается вместо зависания. Но большую часть времени он зависает и мне самому приходится его перезагружать.
Ах, еще одна информация, сервер иногда зависает во время загрузки, даже до загрузки GRUB.
Есть ли у вас какие-либо предположения о том, что происходит, или что я могу сделать, чтобы решить эту проблему?
Просто чтобы оставить отзыв об этой проблеме. Я также поменял кабели SATA, и проблема не устранена. После запуска memtest в течение более 24 часов он начал увеличивать счетчик ошибок.
Сейчас пытаюсь выяснить, какой модуль памяти плохой.
-
Неисправный модуль памяти заменили, теперь посмотрим, решится ли проблема. Надеюсь, но я не настолько уверен, так как уже заменил модули памяти.
-
Вчера днем сервер внезапно перезапустился. Не было перебоев в подаче электроэнергии и перезапуск других устройств. Мы все еще пытаемся понять, в чем проблема.