Мой веб-сервер работает (apache 2.4.10
) разные виртуальные хосты для следующего доменного имени:
foo.example.com
bar.example.com
www.example.com
example.com
Вот файл конфигурации для моих хостов:
<VirtualHost *:80>
DocumentRoot /var/www/
Redirect 404 /
ErrorLog ${APACHE_LOG_DIR}/error.log
CustomLog ${APACHE_LOG_DIR}/access.log combined
</VirtualHost>
<VirtualHost *:80>
ServerName foo.example.com
DocumentRoot /var/www/foo/
ErrorLog ${APACHE_LOG_DIR}/foo-error.log
CustomLog ${APACHE_LOG_DIR}/foo-access.log combined
</VirtualHost>
<VirtualHost *:80>
ServerName bar.example.com
DocumentRoot /var/www/bar/
ErrorLog ${APACHE_LOG_DIR}/bar-error.log
CustomLog ${APACHE_LOG_DIR}/bar-access.log combined
</VirtualHost>
<VirtualHost *:80>
ServerName example.com
ServerAlias www.example.com
DocumentRoot /var/www/www/
ErrorLog ${APACHE_LOG_DIR}/www-error.log
CustomLog ${APACHE_LOG_DIR}/www-access.log combined
</VirtualHost>
Я хотел бы знать, как справиться с robots.txt
файл. Я хочу, чтобы весь мой домен не индексировался.
Вот мой robots.txt
файл :
User-agent: *
Disallow: /
Я скопировал его в несколько каталогов вот так:
/var/www
|-- foo
| |
| `-- robots.txt
|
|-- bar
| |
| `-- robots.txt
|
|-- robots.txt
|
`-- www
|
`-- robots.txt
Это правильный конфигурация?
Мне кажется, это нормально, почему бы тебе просто не попробовать и не посмотреть? Если все они будут одинаковыми, вы можете рассмотреть возможность использования ссылок на один документ, поэтому вам нужно будет вносить изменения только в одном месте.
Также имейте в виду, что не все роботы будут учитывать файл robots.txt, вам может потребоваться заблокировать их другими способами.