У меня проблема с одним из моих серверов. Google открывает множество HTTP-соединений с сервером Apache и в основном выполняет атаку slowloris.
Этот вызов netstat приводит к следующему выводу
netstat -plant|grep :80|awk '{print $5}'|cut -d: -f1|sort|uniq -c|sort -n
11 209.85.227.93
14 209.85.227.190
30 209.85.229.118
494 209.85.229.141
Все эти IP-адреса принадлежат сети Google. Я уже запретил Google получать доступ к любому содержимому, сохраненному на сервере, с помощью robots.txt, но это не влияет на безумное количество подключений. Что я должен делать?
Зайдите в инструменты Google для веб-мастеров, введите удушение.
Несколько других пауков уважают Crawl-delay директива в robots.txt, но не Googlebot.