Есть ли способ узнать, сколько ботов (даже если это только один тип ботов) посещает наш сайт в среднем за день, неделю и месяц?
у нас есть стандартные журналы веб-сайта IIS6 во множестве файлов.
Какие-нибудь уловки или рекомендации?
Программа должна быть основана на .NET. Никаких php или лишних уродливых пакетов, пожалуйста. Бесплатно было бы бонусом.
Вот неплохой список известных пользовательских агентов ботов. Я не знаком ни с какими бесплатными инструментами аналитики веб-журналов, написанными на .NET, но вы можете легко проанализировать журналы самостоятельно, если все, что вам нужно, это боты.
Гугл Аналитика кто угодно? Бесплатно, на основе Javascript, поэтому языки на стороне сервера не нужны. Подробный обзор хитов, боты тоже.
Многие пакеты отчетов могут сообщить об этом.
Например, Awstats говорит
AWStats может обнаруживать посещения роботов. [...] «Посетители-роботы» указываются отдельно в диаграмме «Посетители-роботы / пауки».
EDIT: AWStats бесплатен, написан на Perl и отлично работает в Windows и с журналами IIS.
я использую WebLog эксперт когда я хочу изучить наши журналы. Существует бесплатная версия (lite), но она не включает функции планировщика или командной строки. Само программное обеспечение работает как настольное приложение (либо удаленно с возможностью ведения журналов FTP, либо может быть установлено на сервере) и может выводить отчеты в CSV, PDF и HTML.
почему бы не передать вашу веб-статистику на аутсорсинг? С таким решением, как sitemeter, вы просто добавляете дополнительный javascript, и они дают вам статистику по вашему сайту.
Веб-статистика может быть проблемой для администратора, не всегда стоит внедрять ее самостоятельно.