Я пытаюсь заблокировать поисковые роботы на Apache
<Directory /to/my/site/>
Options Indexes FollowSymLinks
AllowOverride All
Order deny,allow
deny from 18.*.*.*
deny from 35.*.*.*
deny from *.us-west-2.compute.amazonaws.com
deny from *.*.compute.amazonaws.com
Allow from all
</Directory>
Однако похоже, что это не блокирует трафик, исходящий с любого из этих IP-адресов. Что мне не хватает?
Сначала вы должны попробовать добавить robots.txt на вашу веб-страницу, чтобы остановить вежливых поисковых роботов.
Ваш Deny операторы не работают, поскольку вы используете неподдерживаемый синтаксис для подстановочных знаков (см. Документация Apache). Директивы должны быть:
Deny from 18 35
Deny from .compute.amazonaws.com