Назад | Перейти на главную страницу

Как я могу использовать fail2ban для блокировки парсеров?

У меня есть медиа-сайт и проблемы с пользователями, которые приходят и очищают весь контент. Я разместил на странице невидимый URL-адрес, чтобы ловить пауков, которые немедленно блокируют IP-адрес, но некоторые люди выяснили схему URL-адресов и создают свои собственные скрипты .

Все фильтры fail2ban, которые я видел до сих пор, имеют дело с неудачными попытками входа в систему, но мне нужен более продвинутый фильтр, который будет обнаруживать, а затем ограничивать скорость и / или блокировать нарушителей. Все URL-адреса, которые используют парсеры, действительны, поэтому, если они будут работать достаточно медленно, я не смогу сказать, но полагаю, что смогу удержать любителей с помощью fail2ban.

Как я могу правильно реализовать этот фильтр в fail2ban, сводя к минимуму количество ложных срабатываний на законных пользователях?

Я не совсем уверен, что fail2ban - правильный инструмент здесь; вы можете посмотреть что-нибудь вроде mod_security (http://www.modsecurity.org/). Вы сможете отслеживать запросы из сеанса или контекста IP, определять правила для описания подозрительного трафика, а затем соответственно отклонять / замедлять его.

РЕДАКТИРОВАТЬ: вы не указали, поэтому я просто предполагаю, что вы используете Apache.