Я хочу запретить поисковым роботам использовать сайт apache, который настроен для пересылки всех запросов на ProxyPass. Я пробовал директиву BrowserMatchNoCase, чтобы установить переменную окружения block_spider. Когда я изменяю свой пользовательский агент в своем браузере, чтобы маскироваться под поискового бота, он по-прежнему разрешает мне доступ к сайту.
BrowserMatchNoCase "^bingbot" block_spider
BrowserMatchNoCase "^msnbot" block_spider
<Proxy *>
Order deny,allow
Deny from env=block_spider
Allow from all
</Proxy>
RewriteEngine On
RewriteOptions Inherit
Ну, это неудобно. Я все думал, что заказ deny, allow означает, что список обрабатывается как правило ACL или брандмауэра, хотя на самом деле это не так. Последнее правило «Разрешить от всех» отменяет все, что я отрицал. Правильная конфигурация такая:
BrowserMatchNoCase "^bingbot" block_spider
BrowserMatchNoCase "^msnbot" block_spider
<Proxy *>
Order Allow,Deny
Allow from all
Deny from env=block_spider
</Proxy>