Как отлаживать таймауты apache?

Я запускаю веб-приложение PHP на сервере Apache 2.2 (Ubuntu Server 10.04, 8x2GHz, 12Gb RAM), используя prefork. Каждый день Apache получает около 100–200 тыс. Запросов, из которых около 100–200 достигает лимита тайм-аута (примерно один на каждую тысячу), почти все остальные запросы обслуживаются значительно меньше тайм-аута.

Что я могу сделать, чтобы узнать, почему это происходит? Или это нормально, когда время ожидания некоторых небольших частей всех запросов истекает?

Вот что я сделал до сих пор:

Как можно видеть, очень мало запросов, которые находятся между пределом тайм-аута и более разумным запросом. В настоящее время предел тайм-аута установлен на 50 секунд, ранее он был установлен на 300, и это была та же ситуация с некоторыми тайм-аутами, а затем огромным разрывом до других запросов.

Все запросы с истекшим временем ожидания AJAX запросы, но подавляющее большинство из них, так что, возможно, это скорее совпадение. Код возврата Apache: 200, но явно достигнут предел времени ожидания. Они принадлежат к разным IP-адресам.

Я просмотрел запросы, которые истекают по таймауту, и в них нет ничего особенного, если я выполняю те же запросы, которые они обрабатывают, менее чем за секунду.

Я попытался просмотреть различные ресурсы, чтобы узнать, могу ли я найти причину, но безуспешно. Всегда есть много свободной памяти (минимум около 3 ГБ), загрузка иногда достигает 1,4, а загрузка ЦП до 40%, но многие тайм-ауты происходят, когда загрузка и загрузка ЦП низкие. Запись / чтение с диска в течение дня практически постоянны. Нет записей в журнале медленных запросов MySQL (настроен на регистрацию чего-либо более 1 секунды), при отсутствии запроса используется такое количество операций записи / чтения из базы данных.

Синий - загрузка ЦП с пиком 40%, бордовый - загрузка с пиком 1,4. Таким образом, мы видим, что мы получаем тайм-ауты даже при низком использовании / загрузке ЦП (десятисекундные всплески хорошо соответствуют загрузке ЦП, но это еще одна проблема, у меня большие надежды выяснить, что может их вызывать).

В журнале ошибок Apache нет ошибок, и я не видел, чтобы он достиг более 200 активных процессов Apache.

Настройки сервера:

Timeout 50 
KeepAlive On
MaxKeepAliveRequests 100
KeepAliveTimeout 2

<IfModule mpm_prefork_module>
    ServerLimit     350
    StartServers        20
    MinSpareServers     75
    MaxSpareServers     150
    MaxClients          320
    MaxRequestsPerChild 5000
</IfModule>

Обновить:

Я обновился до Ubuntu 12.04.1, на всякий случай без изменений. Я добавил mod_reqtimeout с настройками:

RequestReadTimeout header=20-40,minrate=500
RequestReadTimeout body=10,minrate=500

Теперь почти все таймауты происходят в 10 секунд, один или два - в 20 секунд. Я полагаю, это означает, что в большинстве случаев получение тела запроса проблематично? Тело запроса никогда не должно быть больше нескольких сотен байтов. Я отслеживал сетевой трафик на 1-секундной основе, и он никогда не превышал 1 Мбит / с, и я не вижу никаких rxerrs или rxdorps, учитывая, что сервер находится на линии 1 Гбит / с, это не похоже на HopelessN00b написал о. Может быть, это просто плохое соединение с пользователем?

Что касается всплесков каждый час (они, кажется, немного смещаются, на графиках выше они показывают 33 минуты после часа, теперь они 12 минут), я попытался увидеть, есть ли что-нибудь периодически ( crons и т. д.), но ничего не нашел. Сборка мусора PHP выполняется два раза в час, но не во время всплесков, я все же пытался отключить ее, но это не имеет значения.

Я использовал dstat с --top-cpu и top, чтобы посмотреть на процессы во время всплесков, и все, что обнаружилось, - это apache, усердно работающий в течение нескольких секунд, но ни один другой процесс не использует значительный ЦП.

Я сделал увеличенный график шипов:

Мне кажется, что apache останавливается на несколько секунд, а затем усердно работает, чтобы обработать запросы, поступившие во время остановки. Что могло вызвать такую ​​остановку, или я неправильно это понимаю?