Назад | Перейти на главную страницу

Пользовательский файл robots.txt перезаписывается в Azure IIS 8 чем-то

У нас есть собственный файл robots.txt в корне нашего веб-сайта Azure облачной службы IIS, который некорректно отображается при переходе на www.oursite.com/robots.txt. Отобразится «другой» файл robots.txt, содержащий:

User-agent: LinkChecker  
Allow: /  
User-agent: *  
Disallow: /  

Мы пробовали:
1. Удаление файла robots.txt в корневом каталоге - неверный файл robots.txt по-прежнему отображается.
2. Добавьте правило перезаписи URL-адреса в web.config для отображения пользовательского robots.txt - в течение некоторого времени будет отображаться правильный файл robots.txt, а затем вернуться к другому.

Есть идеи, что наступает на наш специальный файл robots.txt?

Если вы используете инструменты управления IIS для обслуживания, похоже, что у них уже могут быть собственные настройки, которые он предположительно перезаписывает - если вы не настроили их в соответствующем месте:
Роботы IIS и расширение Sitemap