Я арендую сервер где-то в Канаде или около того, и использую его для размещения своего веб-сайта. На этом веб-сайте около 400 000 страниц, которые я хотел сегодня проиндексировать. Для этого я некоторое время назад написал краулер (см. JCrawler на Stackoverflow.com). Теперь я жадный и не хотел, чтобы это занимало слишком много времени, поэтому я запустил несколько потоков, что привело к примерно 60 запросам в секунду с моего IP. Пару минут спустя мой сервер заблокировал меня. Я все еще могу использовать FTP, но не могу использовать HTTP.
Как администратор сервера или пользователь, знаете ли вы, как серверы обычно справляются с такими ситуациями? Распространено ли наложение постоянного или временного запрета на IP или что обычно делается?
Естественно, я перезапущу свое программное обеспечение с меньшим количеством запросов, когда вернусь.
Взгляните на mod_evasive. Вероятно, это то, что заблокировало вас, исходя из вашего описания.
Что вас заблокировало?
Это ваш сервер, поэтому вы должны узнать / уточнить у своего провайдера, прежде чем приехать сюда. Может быть какой-то автоматический брандмауэр на сервере, о котором вы не знаете (придирка: много говорит о ваших способностях как администратора), или какой-то брандмауэр провайдера, который блокирует вас (в этом случае на самом деле сервер ничего не делает).