Для своего промежуточного сервера я пытаюсь найти способ полностью заблокировать ботов поисковых систем, а не отдельный файл .htaccess или файл robots.txt. Идея в том, что при создании нового сайта на промежуточном сервере это скрывается из виду и из виду. Есть ли способ обнаружить пользовательский агент бота с помощью модуля apache и заблокировать это соединение на уровне всего сервера?
Спасибо!
Я предлагаю заблокировать все, кроме заведомо хорошей строки агента тестирования. Таким образом вы блокируете ботов, о которых никогда не слышали. Вы также можете заблокировать все, кроме заведомо исправного набора IP-адресов с помощью% {REMOTE_ADDR}.
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} !YourTestingAgent
RewriteRule (.*) /404.html