Я запустил относительно новый веб-сайт, отправил его в Google и все такое. Я также использую инструменты Google для веб-мастеров. Мне интересно, как определить частоту доступа паука Google к моему сайту. Я всегда слышу, как люди говорят на форумах о том, что "я получаю сканирование 250 страниц в час" и так далее ... Есть ли программное обеспечение, которое можно использовать? Метод javascript, похожий на Google Analytics? Или есть что анализировать логи моего сервера? Спасибо
Просто проверьте журналы веб-сервера, если посетитель User-Agent заголовок запроса совпадает / содержит Googlebot. Есть много инструменты анализатора журналов веб-серверабесплатно или платно. Большинство из них также умеют классифицировать ботов. Из них у меня был лучший опыт с Гугл Аналитика.
Зарегистрируйтесь в Центре веб-мастеров Google, также известном как Инструменты для веб-мастеров, подтвердите свой сайт и дождитесь появления статистики.
Маловероятно, что Google Bot запустит на вашем сайте какой-либо Javascript, который будет отслеживать его поступление, поэтому лучшая надежда - посмотреть сами журналы сайта - либо в webalizer, либо в сотнях других парсеров файлов журналов, либо просто открыть их в texteditor и запустите регулярное выражение, чтобы извлечь пользовательский агент Google Bot.
Тогда вы должны увидеть, сколько ударов он делает за определенный промежуток времени. Если это слишком много, вы можете использовать XML карта сайта
AWstats - хорошая бесплатная утилита для анализа файлов журнала. Это даст вам много интересной статистики в дополнение к информации о сканировании Google.
Я бы порекомендовал Google Analytics, она охватывает все посещения вашего сайта, и вы можете определить, был ли посетитель ботом или нет. Это также отлично подходит для SEO на вашем сайте, помогая увеличить количество посетителей.
AWstats - хорошая бесплатная утилита для анализа файлов журнала. Это даст вам много интересной статистики в дополнение к информации о сканировании Google.
Awstats действительно отличный инструмент
Ознакомьтесь с этой статьей, в которой рассказывается, как отправлять почту, когда робот Googlebot сканирует веб-страницу вашего сайта
Вы можете использовать инструменты Google для веб-мастеров, они сообщат вам, как часто бот сканировал ваш сайт ...