Используя Analog 6 для веб-статистики, я удивлен, увидев более миллиона 404 за 54 дня. Я правильно на это смотрю? Неужели это необычное соотношение просмотров страниц с ошибкой 404 и 200? Я не вижу 404 в списке реальных URL; где будет список неработающих URL-адресов? Сайт представляет собой комбинацию страниц html, WordPress и asp на unix / apache, если это важно.
Requests Status Codes
6548392 200 OK
807 206 Partial content
1830136 301 Document moved permanently
61795 302 Document found elsewhere
3091342 304 Not modified since last retrieval
3042 400 Bad request
49012 403 Access forbidden
1043694 404 Document not found
2936 500 Internal server error
411 503 Service temporarily unavailable
Общая статистика:
Successful requests: 9,640,541
Average successful requests per day: 183,490
Successful requests for pages: 1,620,543
Failed requests: 1,099,095 (20,066)
Список неработающих URL-адресов будет в фактических файлах журнала. Прямо сейчас кажется, что ~ 15% запросов к вашей системе - это 404. Это кажется необычно высоким.
Если бы я предполагал, я бы поспорил, что ваш шаблон страницы содержал ссылку на неработающее изображение, javascript или файл css.
Быстрый поиск файлов журнала, вероятно, откроет большую часть деталей.
Я согласен, что это довольно большое количество ошибок 404, но это могут быть автоматизированные боты, пытающиеся использовать известные дыры в программном обеспечении.
Конечно, это не совсем то же самое, но у меня на нашем веб-сервере есть десятки тысяч 404 в месяц, и, анализируя URL-адреса, это похоже на то, что какой-то бот пробует известные SQL-инъекции в сотни различных продуктов (ни один из которых мы не установили).
Это гигантская начальная задача, но исключите URL-адреса эксплойтов из предпочитаемого вами способа поиска подлинных 404-х, и он станет намного более точным.
Если вы не можете получить доступ к необработанным журналам, как уже предлагалось, рассмотрите возможность сканирования своего сайта, чтобы найти неработающие ссылки. Видеть Проверка ссылок W3C, указав Проверять связанные документы рекурсивно, глубина рекурсии как имеет смысл.