Как устранить неполадки Apache httpd, который просто замолчал?

Один из наших httpd-серверов Apache "умер" странным образом в одночасье. Я просмотрел все соответствующие журналы и не нашел ничего необычного.

К счастью, это произошло в нашей среде разработки, но меня это сильно беспокоит, потому что наша среда разработки почти полностью отражает нашу производственную среду.

Кто-нибудь может сказать мне, что здесь могло произойти?

Симптомы и шаги по устранению неполадок

• Apache httpd полностью не отвечал
• Средняя загрузка 0,0 по всем направлениям
• Нет аномалий журнала
• ps aux | grep httpd казался нормальным
• iptables -L показал порт 80 открыт
• SELinux включен и правильно настроен: AVC не регистрируются
• Никаких изменений в конфигурацию каких-либо компонентов системы не вносилось, какими бы незначительными они ни были.
• Apache httpd был перезагружен в 17:11:25 время сервера, чтобы очистить кеш APC (php)
  • Успешные запросы были сделаны после этой перезагрузки через 17:20 после чего я ушел на день
  • После перезагрузки ничего примечательного не произошло
• На следующее утро процессы httpd не отвечали.
• Telnet к порту 80 успешно подключен
  • Запросы GET, POST, OPTIONS и HEAD вручную не получили никакого ответа; ничего не зарегистрировано

Журналы

access_log

172.22.44.41 - - [03/Mar/2011:17:20:18 -0600] "GET /admin.php?type=notifications HTTP/1.0" 200 44326 "http://umc.dev.example.com/admin.php" "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_6; en-US) AppleWebKit/534.13 (KHTML, like Gecko) Chrome/9.0.597.107 Safari/534.13"
172.22.44.41 - - [04/Mar/2011:14:45:16 -0600] "GET / HTTP/1.0" 200 62921 "-" "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_6; en-US) AppleWebKit/534.13 (KHTML, like Gecko) Chrome/9.0.597.107 Safari/534.13"

журнал ошибок

[Thu Mar 03 17:11:25 2011] [notice] SIGHUP received.  Attempting to restart
[Thu Mar 03 17:11:25 2011] [notice] Digest: generating secret for digest authentication ...
[Thu Mar 03 17:11:25 2011] [notice] Digest: done
[Thu Mar 03 17:11:25 2011] [notice] Apache/2.2.3 (CentOS) configured -- resuming normal operations
[Fri Mar 04 14:45:05 2011] [notice] caught SIGTERM, shutting down
[Fri Mar 04 14:45:05 2011] [notice] SELinux policy enabled; httpd running as context user_u:system_r:httpd_t:s0
[Fri Mar 04 14:45:05 2011] [notice] suEXEC mechanism enabled (wrapper: /usr/sbin/suexec)
[Fri Mar 04 14:45:05 2011] [notice] Digest: generating secret for digest authentication ...
[Fri Mar 04 14:45:05 2011] [notice] Digest: done
[Fri Mar 04 14:45:05 2011] [notice] Apache/2.2.3 (CentOS) configured -- resuming normal operations

ps aux | grep httpd

USER       PID %CPU %MEM    VSZ   RSS TTY      STAT START   TIME COMMAND
root      8477  0.0  1.9 408748  9876 ?        Ss   Feb24   0:03 /usr/sbin/httpd
apache   19933  0.4 14.6 436436 74692 ?        S    Mar03   0:01 /usr/sbin/httpd
apache   19936  0.4  8.4 419708 43148 ?        S    Mar03   0:01 /usr/sbin/httpd

/ var / log / сообщения

Feb 27 04:02:01 webdev1 syslogd 1.4.1: restart.
Mar  4 14:43:35 webdev1 yum: Installed: strace-4.5.18-5.el5_5.5.x86_64

Версии

ОС и ядро

• Релиз CentOS 5.5 (окончательный)
• Linux webdev1.int.example.com 2.6.18-194.32.1.el5 # 1 SMP среда, 5 января 17:52:25 EST 2011 x86_64 x86_64 x86_64 GNU / Linux

Apache httpd

Server version: Apache/2.2.3
Server built:   Aug 30 2010 12:28:40
Server's Module Magic Number: 20051115:3
Server loaded:  APR 1.2.7, APR-Util 1.2.7
Compiled using: APR 1.2.7, APR-Util 1.2.7
Architecture:   64-bit
Server MPM:     Prefork
  threaded:     no
    forked:     yes (variable process count)
Server compiled with....
 -D APACHE_MPM_DIR="server/mpm/prefork"
 -D APR_HAS_SENDFILE
 -D APR_HAS_MMAP
 -D APR_HAVE_IPV6 (IPv4-mapped addresses enabled)
 -D APR_USE_SYSVSEM_SERIALIZE
 -D APR_USE_PTHREAD_SERIALIZE
 -D SINGLE_LISTEN_UNSERIALIZED_ACCEPT
 -D APR_HAS_OTHER_CHILD
 -D AP_HAVE_RELIABLE_PIPED_LOGS
 -D DYNAMIC_MODULE_LIMIT=128
 -D HTTPD_ROOT="/etc/httpd"
 -D SUEXEC_BIN="/usr/sbin/suexec"
 -D DEFAULT_PIDLOG="run/httpd.pid"
 -D DEFAULT_SCOREBOARD="logs/apache_runtime_status"
 -D DEFAULT_LOCKFILE="logs/accept.lock"
 -D DEFAULT_ERRORLOG="logs/error_log"
 -D AP_TYPES_CONFIG_FILE="conf/mime.types"
 -D SERVER_CONFIG_FILE="conf/httpd.conf"

PHP

• php53u-5.3.5-3.ius.el5

Используемые репозитории

База CentOS и обновления для всех пакетов, за исключением: php53u из Сообщество IUS репозиторий.