у нас есть коммерческий веб-сайт с относительно небольшим количеством клиентов одновременно ~ 30 пользователей.
Часто веб-краулеры, такие как бот Google, бот bing и 80legs, останавливают наш сайт. Изменение robots.txt не дает немедленных результатов. Есть ли у них способ мгновенно остановить 80legs? Он использует разные IP-адреса.
Из http://wiki.80legs.com/w/page/1114616/FAQ#HowdoInbspslowdown008whencrawlingmysite
Как замедлить 008 при сканировании моего сайта?
Самое простое решение - связаться с нами и сообщить, с какой скоростью вы хотите, чтобы мы ограничивали сканирование вашего сайта (с точки зрения запросов в секунду).
Конечно, вы также можете проверить User-Agent и ограничение скорости и / или полностью заблокировать эти запросы.