Я смотрел DRKSpider, чтобы найти проблемы с веб-сайтом на нашем производственном сервере, но, похоже, его функция экспорта генерирует разные результаты (с разным контентом).
Моя цель - найти хороший инструмент, который показывает все типы кода состояния, которые могут быть ошибкой 404, 500, 403 и т. Д.
Не могли бы вы предложить некоторые инструменты с открытым исходным кодом для сканирования веб-сайта, чтобы перечислить все серверные коды, связанные с ошибкой?
Я думаю, что самая сложная часть этого заключается в том, что большинство инструментов с открытым исходным кодом не будут реализовывать полную DOM с движком js и css. Таким образом, вы, вероятно, столкнетесь с проблемами, когда даже использование wget не приведет к появлению проблем с неработающими java-скриптами на вашем сайте. Если вы пытаетесь выяснить, какие ошибки ваш сайт может генерировать для пользователей, вам следует подумать о реализации паука, который поддерживает js / css / etc. Что-то вроде:
http://atomz.com/ (бесплатно до 10 000 страниц)
Вы также можете использовать инструменты Google для веб-мастеров, такие как упомянутый @mailq, вот более подробная информация об их разделе ошибок сканирования:
Наконец, если вы еще этого не сделали, вам следует следить за своими журналами на предмет этих ошибок и отслеживать информацию о реферере, чтобы вы, надеюсь, также могли исследовать их.