Я работаю на сайте, который часто атакуют сети ботов. Мы начали использовать этот инструмент: http://deflate.medialayer.com/ который автоматически блокирует IP-адреса, у которых открыто больше соединений, чем заданное значение. По умолчанию установлено значение 150, сейчас мы используем 250.
Я хотел бы знать, насколько безопасно, чтобы поисковые роботы и обычные посетители не блокировались?
I would like to know, how low is safe so that search bots and normal visitors do not get blocked?
Минимум, который вы можете получить без блокировки поисковых роботов и обычных посетителей. (например, «Невозможно сказать без эмпирических данных - это зависит от вашего сайта, типа используемых браузеров / поисковых роботов и количества одновременных подключений, которые они попытаются открыть, находятся ли пользователи за прокси / NAT, которые делают много кажется, что пользователи приходят с одного IP-адреса и т. д. и т. д. и т. д. ")
Практический совет: если вы хотите использовать автобан, подобный этому, ошибитесь в отношении ложных отрицательных результатов (позволяя атакам продолжаться), а не ложных срабатываний (запрет законных пользователей). 200 одновременных подключений с одного IP-адреса кажутся разумным значением, при условии, что у вас нет сотен пользователей за прокси-сервером, где все выглядят как один IP и все одновременно заходят на сайт.
Типичный браузер не может устанавливать более дюжины подключений одновременно. Однако проблема, с которой вы столкнетесь, - это люди, стоящие за NAT, особенно в больших сетях, где десяток людей, подключающихся одновременно, могут отправить максимальное количество одновременных подключений более сотни.
На этот вопрос действительно нет отличного ответа. Лучшее, что мы можем сказать, - это попробовать и увидеть. Вы можете настроить два уровня: на 250 они заблокированы, а на каком-то новом предложенном лимите (скажем, 100) они будут регистрироваться, чтобы вы могли просматривать журнал и видеть, попадает ли какой-либо законный трафик каждый раз в это число.
Если есть какой-либо другой журнал, показывающий какую-либо ошибочную активность ботов, вам может быть полезно использовать Fail2Ban (или что-то подобное). Скажем, если они постоянно запрашивают несуществующие веб-страницы, вы можете отслеживать журналы на предмет статуса 404.
Цитировать @ chopper3
1 МИЛЛИОН
Однако если серьезно, то однозначного ответа нет. Это зависит от нескольких факторов, таких как тип сайта и контента, а также люди, стоящие за NAT / большими сетями. Лучший способ выбрать - проверить предложенную настройку и посмотреть, не заблокирован ли какой-либо законный трафик.