Назад | Перейти на главную страницу

Следы загадочного стека в / var / log / messages

Я вижу следующие сообщения на своем сервере /var/log/messages. Они выглядят как следы стека, и им не предшествует какой-либо рассказ (например, «что-то пошло не так»).

Я почти уверен, что они связаны с проблемами ввода-вывода, с которыми я сталкиваюсь, но было бы поучительно понять, что именно это за сообщения и что их вызывает.

Jan 25 14:56:58 hostname kernel: [15321.586145] master        D 000000010016bfbb     0  2753      1 0x00000004
Jan 25 14:56:58 hostname kernel: [15321.586150]  ffff88030d053a78 0000000000000086 00000000ffffffff 0000000000015980
Jan 25 14:56:58 hostname kernel: [15321.586156]  ffff88030d053fd8 0000000000015980 ffff88030d053fd8 ffff88030dedc4a0
Jan 25 14:56:58 hostname kernel: [15321.586161]  0000000000015980 0000000000015980 ffff88030d053fd8 0000000000015980
Jan 25 14:56:58 hostname kernel: [15321.586166] Call Trace:
Jan 25 14:56:58 hostname kernel: [15321.586176]  [] do_get_write_access+0x2ed/0x5b0
Jan 25 14:56:58 hostname kernel: [15321.586182]  [] ? wake_bit_function+0x0/0x40
Jan 25 14:56:58 hostname kernel: [15321.586189]  [] jbd2_journal_get_write_access+0x31/0x50
Jan 25 14:56:58 hostname kernel: [15321.586192]  [] __ext4_journal_get_write_access+0x38/0x70
Jan 25 14:56:58 hostname kernel: [15321.586195]  [] ext4_reserve_inode_write+0x73/0xa0
Jan 25 14:56:58 hostname kernel: [15321.586197]  [] ? jbd2_journal_start+0xb5/0x100
Jan 25 14:56:58 hostname kernel: [15321.586199]  [] ext4_mark_inode_dirty+0x4c/0x1d0
Jan 25 14:56:58 hostname kernel: [15321.586200]  [] ? ext4_journal_start_sb+0xf8/0x130
Jan 25 14:56:58 hostname kernel: [15321.586202]  [] ext4_dirty_inode+0x40/0x60
Jan 25 14:56:58 hostname kernel: [15321.586205]  [] __mark_inode_dirty+0x42/0x1d0
Jan 25 14:56:58 hostname kernel: [15321.586207]  [] file_update_time+0xfb/0x180
Jan 25 14:56:58 hostname kernel: [15321.586210]  [] pipe_write+0x32b/0x670
Jan 25 14:56:58 hostname kernel: [15321.586212]  [] do_sync_write+0xda/0x120
Jan 25 14:56:58 hostname kernel: [15321.586215]  [] ? apparmor_file_permission+0x18/0x20
Jan 25 14:56:58 hostname kernel: [15321.586218]  [] ? security_file_permission+0x16/0x20
Jan 25 14:56:58 hostname kernel: [15321.586220]  [] vfs_write+0xb8/0x1a0
Jan 25 14:56:58 hostname kernel: [15321.586221]  [] sys_write+0x51/0x80
Jan 25 14:56:58 hostname kernel: [15321.586223]  [] ? sys_poll+0x7c/0x110
Jan 25 14:56:58 hostname kernel: [15321.586226]  [] system_call_fastpath+0x16/0x1b
Jan 25 14:56:58 hostname kernel: [15321.586237] qmgr          D 000000010016bfbb     0  2756   2753 0x00000004
Jan 25 14:56:58 hostname kernel: [15321.586239]  ffff8802f6cefa98 0000000000000082 ffff880200000000 0000000000015980
Jan 25 14:56:58 hostname kernel: [15321.586241]  ffff8802f6ceffd8 0000000000015980 ffff8802f6ceffd8 ffff88030d3c44a0
Jan 25 14:56:58 hostname kernel: [15321.586243]  0000000000015980 0000000000015980 ffff8802f6ceffd8 0000000000015980
Jan 25 14:56:58 hostname kernel: [15321.586245] Call Trace:
Jan 25 14:56:58 hostname kernel: [15321.586247]  [] do_get_write_access+0x2ed/0x5b0
Jan 25 14:56:58 hostname kernel: [15321.586249]  [] ? wake_bit_function+0x0/0x40
Jan 25 14:56:58 hostname kernel: [15321.586251]  [] jbd2_journal_get_write_access+0x31/0x50
Jan 25 14:56:58 hostname kernel: [15321.586253]  [] __ext4_journal_get_write_access+0x38/0x70
Jan 25 14:56:58 hostname kernel: [15321.586255]  [] ext4_reserve_inode_write+0x73/0xa0
Jan 25 14:56:58 hostname kernel: [15321.586257]  [] ? jbd2_journal_start+0xb5/0x100
Jan 25 14:56:58 hostname kernel: [15321.586258]  [] ext4_mark_inode_dirty+0x4c/0x1d0
Jan 25 14:56:58 hostname kernel: [15321.586260]  [] ? ext4_journal_start_sb+0xf8/0x130
Jan 25 14:56:58 hostname kernel: [15321.586263]  [] ? ep_poll_callback+0xbb/0xf0
Jan 25 14:56:58 hostname kernel: [15321.586265]  [] ext4_dirty_inode+0x40/0x60
Jan 25 14:56:58 hostname kernel: [15321.586266]  [] __mark_inode_dirty+0x42/0x1d0
Jan 25 14:56:58 hostname kernel: [15321.586268]  [] touch_atime+0x135/0x180
Jan 25 14:56:58 hostname kernel: [15321.586270]  [] pipe_read+0x2b4/0x4a0
Jan 25 14:56:58 hostname kernel: [15321.586272]  [] do_sync_read+0xda/0x120
Jan 25 14:56:58 hostname kernel: [15321.586275]  [] ? default_spin_lock_flags+0x9/0x10
Jan 25 14:56:58 hostname kernel: [15321.586276]  [] ? ep_poll+0xab/0x2a0
Jan 25 14:56:58 hostname kernel: [15321.586278]  [] ? apparmor_file_permission+0x18/0x20
Jan 25 14:56:58 hostname kernel: [15321.586280]  [] ? security_file_permission+0x16/0x20
Jan 25 14:56:58 hostname kernel: [15321.586282]  [] vfs_read+0xb5/0x1a0
Jan 25 14:56:58 hostname kernel: [15321.586283]  [] sys_read+0x51/0x80
Jan 25 14:56:58 hostname kernel: [15321.586285]  [] ? sys_epoll_wait+0x96/0xe0
Jan 25 14:56:58 hostname kernel: [15321.586287]  [] system_call_fastpath+0x16/0x1b

Ядро Linux hostname 2.6.35-24-generic #42-Ubuntu SMP Thu Dec 2 02:41:37 UTC 2010 x86_64 GNU/Linux

В частности, похоже, что ext4 испытывает трудности с записью данных в журнал. Мой опыт работы с ext3 заключался в том, что журнал используется для записи метаданных, которые вы собираетесь сохранить, в безопасном месте, где их, по крайней мере, можно отменить в случае сбоя системы. Поскольку запись в журнал - это некритическая, хотя и важная функция, она, вероятно, просто делает упс и продолжает работать. Поскольку в этот момент система не аварийно завершилась, у вас возникнет задержка только в то время, когда у модуля ядра ext4 возникли проблемы с журналом.

Так почему же файловая система имеет проблемы с журналом? Посмотрите на следующие вопросы, чтобы увидеть, есть ли у них новые идеи:

Вы поместили журнал на отдельное устройство, которое либо имеет проблемы, либо процент занятости которого довольно высок?
Если диск не является локальным (iSCSI, ATAoE или Fibre Channel), возникают ли у вас проблемы со связью или можете ли вы доказать, что нет?
Когда вы в последний раз запускали fsck для проверки целостности?
Если это единственный внутренний диск, пробовали ли вы запустить диагностический инструмент производителя, чтобы убедиться, что диск по-прежнему работает в соответствии со спецификациями?
Для внутренних накопителей - S.M.A.R.T. включен и ты пользуешься инструментами? смотреть устройство?