У нас есть три сервера, работающих на одном хосте ESX, все виртуальные диски взяты с удаленного контроллера хранилища SAN. Эти древовидные серверы зависли и перезапустились несколько дней назад, и сегодня это снова случилось с сервером БД. Странно то, что когда возникла проблема, нет журнала паники, журнала сбоев, журнала ошибок.
Сервер1. Веб-сервер FreeBSD Meduna 8.1-RELEASE-p2 FreeBSD 8.1-RELEASE-p2 # 2: Mon Feb 14 12:57:36 MYT 2011 hailang @ Meduna: / usr / obj / usr / src / sys / Meduna amd64
Медуна # cat / var / log / messages | grep panic
Медуна # bzcat /var/log/messages.?.bz2 | grep panic
Медуна # cat / var / log / messages | ошибка grep
Медуна # bzcat /var/log/messages.?.bz2 | ошибка grep
28 мая 16:05:04 Ядро Meduna: / var: ожидающая монтирования ошибка: блокирует 4 файла 1
Сервер2. Сервер БД FreeBSD Moncalvo 8.1-RELEASE-p2 FreeBSD 8.1-RELEASE-p2 # 1: Пн, 10 января, 13:02:48 MYT 2011 hailang @ Moncalve: / usr / obj / usr / src / sys / Moncalve amd64
Moncalvo # cat / var / log / messages | grep panic
Moncalvo # cat / var / log / messages | grep panic
Монкальво # bzcat /var/log/messages.?.bz2 | grep panic
Moncalvo # cat / var / log / messages | ошибка grep
Монкальво # bzcat /var/log/messages.?.bz2 | ошибка grep
28 мая 16:17:17 Ядро Moncalvo: / var: ошибка ожидания монтирования: блокирует -32 файла 0
Сервер3. Not_In_Use FreeBSD Mecure 8.1-RELEASE-p2 FreeBSD 8.1-RELEASE-p2 # 0: 11 февраля, пятница, 14:45:55 MYT 2011 hailang @ ServerX: / usr / obj / usr / src / sys / Mecure amd64
Mecure # cat / var / log / messages | grep panic
Mecure # bzcat /var/log/messages.?.bz2 | grep panic
Mecure # bzcat /var/log/messages.?.bz2 | ошибка grep
Mecure # cat / var / log / messages | ошибка grep
28 мая, 15:42:41 Ядро Mecure: g_vfs_done (): da0s1d [WRITE (offset = 3275046912, length = 16384)] error = 5
28 мая, 15:42:41 Ядро Mecure: g_vfs_done (): da0s1d [READ (offset = 4062199808, length = 16384)] error = 5
28 мая, 15:42:41 Ядро Mecure: g_vfs_done (): da0s1d [WRITE (offset = 3281371136, length = 10240)] error = 5
Так выглядит / var / log / messages при возникновении проблемы
28 мая 13:06:26 Ядро Meduna: перенаправление icmp с 10.16.10.250: 113.23.142.94 => 10.16.10.18
28 мая 13:07:01 Ядро Meduna: перенаправление icmp с 10.16.10.250: 202.186.13.232 => 10.16.10.18
28 мая 13:15:00 Ядро Meduna: icmp redirect с 10.16.10.250: 113.23.142.94 => 10.16.10.18
28 мая 13:15:35 Ядро Meduna: перенаправление icmp с 10.16.10.250: 202.186.13.232 => 10.16.10.18
28 мая 13:41:36 Meduna syslogd: загрузочный файл ядра / boot / kernel / kernel
28 мая 13:41:36 Ядро Meduna: Copyright (c) 1992-2010 Проект FreeBSD.
28 мая 13:41:36 Ядро Meduna: Copyright (c) 1979, 1980, 1983, 1986, 1988, 1989, 1991, 1992, 1993, 1994
[!] Просто зависло около получаса и перезапустилось без ошибок.
28 мая 13:13:14 Ядро Moncalvo: перенаправление icmp с 10.16.10.250: 60.49.152.98 => 10.16.10.18
28 мая 13:14:25 Ядро Moncalvo: icmp redirect с 10.16.10.250: 210.48.150.200 => 10.16.10.18
28 мая 13:16:58 Ядро Moncalvo: перенаправление icmp с 10.16.10.250: 183.78.169.57 => 10.16.10.18
28 мая, 15:59:06 Moncalvo syslogd: загрузочный файл ядра / boot / kernel / kernel
28 мая, 15:59:06 Ядро Moncalvo: Copyright (c) 1992-2010 Проект FreeBSD.
28 мая 15:59:06 Ядро Moncalvo: Copyright (c) 1979, 1980, 1983, 1986, 1988, 1989, 1991, 1992, 1993, 1994
[!] И этот сервер завис более 2х часов на перезапуск
Я подозреваю, что это может быть проблема с хранением, но без каких-либо доказательств этого. Не могли бы вы дать мне совет, чтобы решить / раскопать проблему. Любая помощь высоко ценится!
Наилучшие пожелания,
Хай Ланг
Проблема, скорее всего, связана с неисправностью SAN. Когда FreeBSD теряет диск, практически невозможно оставить запись в журнале паники. Но в среде ВМ (а также на очень немногих материнских платах) может быть msgbuf (dmesg
) осталось после перезагрузки. Вы можете попробовать изучить это.
Для отладки вы можете попробовать использовать DDB
вместо перезагрузки после паники.
PS. Если у вас есть под рукой системный программист, вы можете попросить его написать что-нибудь вроде Linux netconsole
для FreeBSD