Я ищу регулярно обновляемую базу данных различных ботов, пауков и сканеров. Я хочу иметь возможность идентифицировать их в файлах журнала из IIS.
User-Agents.org имеет довольно большую базу данных пользовательских агентов / пауков и т.д. Кажется, она регулярно обновляется (последнее обновление было 28.02.2009). Данные доступны через RSS / XML.