Пытаюсь заблокировать доступ ботов Google и других пользователей к некоторым моим сайтам. Дело в том, что у меня есть один ящик с множеством файлов виртуальных хостов, которые не делают ничего, кроме передачи прокси на другие серверы. Я бы хотел заблокировать googlebot и не хотел бы обращаться к каждому отдельному .htaccess файл. Я считаю, что вы можете сделать это в apache2.conf (httpd.conf), но я считаю, что могут быть некоторые различия в синтаксисе. Например, я знаю, что это работает, если я вставлю его в свой .htaccess:
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} googlebot [NC]
RewriteRule .* - [F,L]
</IfModule>
но, похоже, это не работает в apache2. Каким будет точный синтаксис?
robots.txt и .htaccess не вариант. Да, я знаю, что эта установка звучит тормозно, потому что это так. Я просто унаследовал это.
Rewriterules, определенные в контексте всего сервера, не наследуются автоматически в контексте виртуального сервера. Вам нужно будет добавить это к каждому виртуальному хосту:
RewriteOptions Inherit
Видеть: http://httpd.apache.org/docs/2.4/mod/mod_rewrite.html#rewriteoptions