Веб-сканер дважды покупал наш сайт. Он игнорирует наш файл robots.txt, и мы не получили ответа от их службы поддержки клиентов по электронной почте и в Twitter.
Мне пришлось создать перенаправление URL-адресов на основе их строки пользовательского агента, я перенаправил все их запросы обратно на их собственный общедоступный веб-сайт. Это право вещь которую нужно сделать?
редактировать Как мне вернуть 40? код ошибки на основе строки пользовательского агента с использованием tomcat / tuckey? (Наш сайт размещен на сервере Windows, если это имеет значение.) Я не могу использовать IP-адреса, поскольку бот использует их многие (очевидно, это сетка).
Частично это связано с тем, что наш веб-сайт является старой и ненадежной устаревшей системой, но поисковый робот Google и поисковый робот Bing не сбивают нас с толку, и наш нормальный бизнес-трафик в порядке. Существенные вложения / разработки для работы с одним ботом нецелесообразны.
Веб-сканер дважды выкупил наш сайт
Если веб-сканер может вывести ваш сайт из строя, значит, он продемонстрировал, что ваш сайт очень уязвим для DOS. Хотя да, быстрое решение - заблокировать доступ этого веб-сканера, на самом деле это не обеспечивает вам достаточной защиты от других веб-сканеров / DOS / больших объемов легитимного трафика.
Я согласен с Бобби - если вы знаете, что запрос исходит от клиента с плохим поведением, тогда правильный ответ - это код ошибки 4xx, но вы можете поместить любое сообщение о состоянии в ответ - и должны повторить его в теле. Я не думаю, что ему нужен новый код состояния - похоже, 409 исправляет ситуацию.
На самом деле вам следует подумать, как более изящно обрабатывать такой трафик - гарантия минимальной пропускной способности более эффективна, чем ограничение пропускной способности, но встречается реже, чем последнее. Ограничение количества подключений и скорости подключения на IP-адрес также является хорошим подходом (но остерегайтесь проблем с IPv6 PoP, если вы используете IPv4).
Если вам нужно адаптивное решение, работающее в пользовательском пространстве (при условии, что оно работает в Linux / BSD), обратите внимание на fail2ban.
Однако ограничение полосы пропускания / соединений все еще является исправлением - лучшим решением является повышение производительности / емкости вашей системы.