Назад | Перейти на главную страницу

Robots.txt с несколькими VirtualHosts

Мой веб-сервер работает (apache 2.4.10) разные виртуальные хосты для следующего доменного имени:

foo.example.com
bar.example.com
www.example.com
example.com

Вот файл конфигурации для моих хостов:

<VirtualHost *:80>
        DocumentRoot /var/www/

        Redirect 404 /
        ErrorLog ${APACHE_LOG_DIR}/error.log
        CustomLog ${APACHE_LOG_DIR}/access.log combined
</VirtualHost>

<VirtualHost *:80>
        ServerName foo.example.com
        DocumentRoot /var/www/foo/

        ErrorLog ${APACHE_LOG_DIR}/foo-error.log
        CustomLog ${APACHE_LOG_DIR}/foo-access.log combined
</VirtualHost>

<VirtualHost *:80>
        ServerName bar.example.com
        DocumentRoot /var/www/bar/

        ErrorLog ${APACHE_LOG_DIR}/bar-error.log
        CustomLog ${APACHE_LOG_DIR}/bar-access.log combined
</VirtualHost>

<VirtualHost *:80>
        ServerName example.com
        ServerAlias www.example.com
        DocumentRoot /var/www/www/

        ErrorLog ${APACHE_LOG_DIR}/www-error.log
        CustomLog ${APACHE_LOG_DIR}/www-access.log combined
</VirtualHost>

Я хотел бы знать, как справиться с robots.txt файл. Я хочу, чтобы весь мой домен не индексировался.

Вот мой robots.txt файл :

User-agent: *
Disallow: /

Я скопировал его в несколько каталогов вот так:

/var/www
     |-- foo
     |   |
     |   `-- robots.txt
     |
     |-- bar
     |   |
     |   `-- robots.txt
     |
     |-- robots.txt
     |
     `-- www
         |
         `-- robots.txt

Это правильный конфигурация?

Мне кажется, это нормально, почему бы тебе просто не попробовать и не посмотреть? Если все они будут одинаковыми, вы можете рассмотреть возможность использования ссылок на один документ, поэтому вам нужно будет вносить изменения только в одном месте.

Также имейте в виду, что не все роботы будут учитывать файл robots.txt, вам может потребоваться заблокировать их другими способами.