Perishable Press часто публикует черный список управляемых пользовательских агентов, который блокирует плохих ботов и директивы htaccess.
Статью можно найти здесь: http://perishablepress.com/press/2009/03/29/4g-ultimate-user-agent-blacklist/
Вы бы порекомендовали использовать такой черный список? Основная цель - уменьшить количество запросов на моих серверах, потому что я вижу, что боты, посещающие мой сайт, потребляют много трафика.
Ура
Тебе лучше использовать robots.txt для управления хорошо себя ведающими ботами и запроса ограничения скорости для злых ботов. Вы не можете использовать что-либо, контролируемое клиентом, для ботов с плохим поведением, потому что они могут изменять себя, чтобы обходить ваши фильтры.
Как правило, да, если он соответствует вашим требованиям / потребностям, если нет конкретных конфликтов, которые вы можете найти в их определениях и / или подходах. Разумный путь - очень внимательно следить за его первоначальной реализацией, чтобы убедиться, что он соответствует вашим потребностям, без каких-либо непредвиденных / неожиданных побочных эффектов.