Привет,
Обычно, если я набираю в адресной строке oneofmysites.com/robots.txt, любой браузер будет отображать содержимое файла robots.txt. Как видите, это довольно стандартное поведение.
У меня есть только один веб-сервер, которого нет. Вместо, robots.txt перенаправляет на веб-страницу по умолчанию (например, thesiteinquestion.com/). Эта заметная разница (только одна из семи сайтов) меня беспокоит.
Вопросы: Это повод для беспокойства? Если да, то какой вероятной ошибки мне не хватает?
Ноты:
Это зависит от конфигурации сервера, использование файлов .txt может быть запрещено. Возможно, где-то в конфигурации или некотором .htaccess есть правило, которое указывает, не соответствует ли URL-адрес определенному шаблону (например, .html, .php, .htm и т. Д.), А затем перенаправляет остальное на страницу индекса. веб-корня.
Чтобы добавить немного информации, веб-провайдер вовсе не обязан соблюдать стандарт robots.txt, поэтому он может делать с ним все, что захочет, и, как сказал Серж, его можно перенаправить куда угодно.
Поисковый робот должен прочитать robots.txt и соблюдайте его ограничения, но веб-сервер не может этого добиться.
.htaccess (или файл конфигурации сервера) можно использовать для защиты от роботов, которые не соблюдают правила, если вы знаете, кто они.