В lanl.arxiv.org математическая и научная служба препринтов (ранее известная как xxx.lanl.gov) имеет строгую политику в отношении ботов, игнорирующих его robots.txt, Остерегайтесь роботов. На этой странице есть ссылка с надписью «Нажмите здесь, чтобы запустить автоматический поиск и уничтожение вашего сайта», что запрещено их robots.txt но предположительно плохо себя ведающие роботы последуют за ним и пожнут последствия. Вопрос, каковы реальные последствия? У меня никогда не хватало смелости щелкнуть по этой ссылке, чтобы увидеть, что она делает. Что они могут делать эффективно и законно?
[обратный результат DNS]: вы были идентифицированы как робот, действующий с нарушением правил, опубликованных на arxiv.org.
Если это определение ошибочно, сообщите об этом по адресу www-admin@arxiv.org, чтобы можно было исследовать вашу проблему.
Scanning, Initialized:
10 minutes to Trinity...
9 minutes to Trinity...
8 minutes to Trinity...
7 minutes to Trinity...
6 minutes to Trinity...
5 minutes to Trinity...
4 minutes to Trinity...
3 minutes to Trinity...
2 minutes to Trinity...
1 minute to Trinity...
Нулевой уровень. Хорошего дня.
Связаться с нами
Итак ... это страница, на которую потрачено 10 минут очень время наивного бота. Вероятно, бесполезен для борьбы с вредоносными ботами, но может сэкономить некоторую пропускную способность при столкновении с плохо написанным парсером сайтов.
Никаких последствий, кроме как немного покрутиться. Большинство браузеров (и, возможно, их сервер) через некоторое время просто отключаются. Вероятно, они просто причиняют себе больше вреда, чем боты.