Мне нужно проанализировать сканирование поисковой системы, происходящее на моем сайте. Есть ли для этого хороший инструмент? Я пробовал AWStats и Sawmill. Но оба они дают мне очень ограниченное представление о ползании. Мне нужно знать информацию, например, сколько уникальных / различных веб-страниц в разделе моего сайта было просканировано конкретным сканером за определенный период времени.
Google Analytics вообще не отслеживает сканирование из-за своего механизма отслеживания javascript.