Я использую Ubuntu Linux 14.04.2 на сервере Dell R610. Это поле используется для размещения службы MySQL для моих приложений. Каталог данных MySQL смонтирован на DELL SAN Equallogic, поэтому этот блок также является инициатором iSCSI.
Проблема, с которой я сталкиваюсь, заключается в том, что каждую неделю, когда мы применяем обновления и перезагружаем сервер, служба MySQL периодически отказывается запускаться.
в /etc/init/mysql.conf, задание выскочки MySQL настроено на запуск / остановку следующим образом:
start on runlevel [2345]
stop on starting rc RUNLEVEL=[016]
Ниже приводится выдержка из серверного /var/log/kern.log, когда MySQL успешно запускается.
[Эти сообщения всегда регистрируются]
IPv6: ADDRCONF(NETDEV_CHANGE): em1: link becomes ready
Apr 27 02:07:03 DB-Box kernel: [ 14.070796] bnx2 0000:01:00.1 em2: NIC Copper Link is Up, 1000 Mbps full duplex
Apr 27 02:07:03 DB-Box kernel: [ 14.070803] , receive & transmit flow control ON
Apr 27 02:07:03 DB-Box kernel: [ 14.070885] IPv6: ADDRCONF(NETDEV_CHANGE): em2: link becomes ready
[Они регистрируются при успешном запуске MySQL]
Apr 27 02:07:03 DB-Box kernel: [ 14.388522] scsi3 : iSCSI Initiator over TCP/IP
Apr 27 02:07:03 DB-Box kernel: [ 14.406089] scsi4 : iSCSI Initiator over TCP/IP
Apr 27 02:07:03 DB-Box kernel: [ 14.410710] scsi5 : iSCSI Initiator over TCP/IP
Apr 27 02:07:03 DB-Box kernel: [ 14.415547] scsi6 : iSCSI Initiator over TCP/IP
Apr 27 02:07:04 DB-Box kernel: [ 14.434132] connection1:0: detected conn error (1020)
Apr 27 02:07:04 DB-Box kernel: [ 14.445123] connection2:0: detected conn error (1020)
Apr 27 02:07:04 DB-Box kernel: [ 14.446003] connection3:0: detected conn error (1020)
Apr 27 02:07:04 DB-Box kernel: [ 14.447461] connection4:0: detected conn error (1020)
Apr 27 02:07:04 DB-Box kernel: [ 15.237897] scsi 3:0:0:0: Direct-Access EQLOGIC 100E-00 6.0 PQ: 0 ANSI: 5
Apr 27 02:07:04 DB-Box kernel: [ 15.238173] scsi 4:0:0:0: Direct-Access EQLOGIC 100E-00 6.0 PQ: 0 ANSI: 5
Apr 27 02:07:04 DB-Box kernel: [ 15.238196] sd 3:0:0:0: Attached scsi generic sg3 type 0
Apr 27 02:07:04 DB-Box kernel: [ 15.238432] sd 4:0:0:0: Attached scsi generic sg4 type 0
Apr 27 02:07:04 DB-Box kernel: [ 15.238828] scsi 5:0:0:0: Direct-Access EQLOGIC 100E-00 6.0 PQ: 0 ANSI: 5
Apr 27 02:07:04 DB-Box kernel: [ 15.239056] sd 3:0:0:0: [sdb] 1048596480 512-byte logical blocks: (536 GB/500 GiB)
Apr 27 02:07:04 DB-Box kernel: [ 15.239075] sd 4:0:0:0: [sdc] 419450880 512-byte logical blocks: (214 GB/200 GiB)
Apr 27 02:07:04 DB-Box kernel: [ 15.239101] sd 5:0:0:0: Attached scsi generic sg5 type 0
Apr 27 02:07:04 DB-Box kernel: [ 15.239496] sd 5:0:0:0: [sdd] 1048596480 512-byte logical blocks: (536 GB/500 GiB)
Apr 27 02:07:04 DB-Box kernel: [ 15.239836] scsi 6:0:0:0: Direct-Access EQLOGIC 100E-00
Я заметил, что начальные линии, выделенные жирным шрифтом, всегда записываются. В случаях, когда MySQL не удается успешно запустить, журналы iSCSI не создаются.
Я не знаю, с чего начать расследование. Я совершенно запутался, связано ли это с порядком загрузки или я что-то упускаю!
Изменить 1:
Добавление дополнительных журналов, как указано @JimNim
Apr 27 01:54:23 DB-Box kernel: [ 14.204031] Loading iSCSI transport class v2.0-870.
Apr 27 01:54:23 DB-Box kernel: [ 14.227691] iscsi: registered transport (tcp)
Apr 27 01:54:23 DB-Box kernel: [ 14.334826] iscsi: registered transport (iser)
Apr 27 01:54:25 DB-Box kernel: [ 15.575642] bnx2 0000:01:00.0 em1: NIC Copper Link is Up, 100 Mbps full duplex
Apr 27 01:54:25 DB-Box kernel: [ 15.575651]
Apr 27 01:54:25 DB-Box kernel: [ 15.575733] IPv6: ADDRCONF(NETDEV_CHANGE): em1: link becomes ready
Apr 27 01:54:26 DB-Box kernel: [ 16.538071] bnx2 0000:01:00.1 em2: NIC Copper Link is Up, 1000 Mbps full duplex
Apr 27 01:54:26 DB-Box kernel: [ 16.538079] , receive & transmit flow control ON
Apr 27 01:54:26 DB-Box kernel: [ 16.538161] IPv6: ADDRCONF(NETDEV_CHANGE): em2: link becomes ready
Может случиться так, что когда-нибудь подключению iSCSI потребуется больше времени для запуска, и служба MySQL «опередит» подключение iSCSI.
После загрузки попробуйте перезапустить MySQL: если во время загрузки он не запустился должным образом, но из оболочки он запускается без проблем, то вы подтверждаете, что у нас есть проблема с синхронизацией.
Другой вариант: вы достигли монтирования iSCSI, используя имя хоста или IP-адрес? В первом случае, возможно, у вас есть проблема с DNS, которая не позволяет инициатору iSCSI разрешить IP-адрес целевого объекта.