Сбой сервера в считанные минуты из-за частого использования httpd-apache (атака или ошибка)

На прошлой неделе я неожиданно получаю ошибки на моем сервере. Я пытаюсь зайти на свой веб-сайт и получаю ошибку 503.

Когда я проверяю top и другие вещи, которые я вижу:

60-65 процессов httpd (apache). (Обычно у меня 30-35 процессов httpd)
Вы можете увидеть график здесь: httpd процесс
MySQL делает подкачку ~ 350 МБ. (Обычно это 40-50 МБ свопа)
Праймер для тюнинга говорит, что:
- Текущее max_connections = 250
- Текущие потоки_connected = 96
- Исторический max_used_connections = 97
Сервер все графики: Общие данные
Внутри httpd.conf
- ServerLimit 60
- MaxClients 60
В var\www\vhosts\example.com\logs\access_log нет ничего похожего на (D) DOS-атаку. Вижу нормальный запрос к серверу.
Ничего подозрительного в var\log\httpd\access_log
Внутри моего var\www\vhosts\example.com\logs\error_log Я вижу слишком много таких ошибок:
- [Fri Jan 17 10:56:26 2014] [warn] [client 78.180.71.157] mod_fcgid: can't apply process slot for /var/www/cgi-bin/cgi_wrapper/cgi_wrapper
Внутри \var\log\mysqld_log Нет ошибки
Внутри \var\log\error_log без ошибок в то время
Внутри \var\log\suexec_log Нет ошибки

Как я могу определить, что заставляет мой веб-сайт делать DISK IO 100%, среднюю нагрузку 10, очень высокую скорость подкачки и сервер не отвечает на запросы. И как я могу предотвратить это в будущем?

Когда я перезапускаю mysql и httpd, проблема решается. Но как мне диагностировать причину

Предупреждение mod_fcgid: can't apply process slot for /var/www/cgi-bin/cgi_wrapper/cgi_wrapper означает, что Apache исчерпал все доступные ему ресурсы и не может обслуживать клиента. Клиент получит 503 ошибка.

Судя по графикам, причиной ваших проблем является либо всплеск трафика, либо неправильная конфигурация программного обеспечения. Когда количество запросов к ОЗУ увеличивается, на вашем сервере заканчивается ОЗУ, поэтому он достигает пика ввода-вывода, чтобы переставить все, что может, на диск (отсюда и 100% ввод-вывод), что вызывает iowait также увеличить. Это предупреждение выдается после того, как все ресурсы исчерпаны или ваш сервер становится достаточно медленным для тайм-аута Apache.

Вероятно, перезапуск просто освобождает эту память. Ваш ответ будет одним из двух: 1) увеличить оперативную память, доступную вашему серверу, за счет фактического увеличения или за счет разгрузки MySQL (который требует много памяти) на другой сервер, или 2) просмотр вашего кода на предмет утечки.