У нас есть собственный файл robots.txt в корне нашего веб-сайта Azure облачной службы IIS, который некорректно отображается при переходе на www.oursite.com/robots.txt. Отобразится «другой» файл robots.txt, содержащий:
User-agent: LinkChecker
Allow: /
User-agent: *
Disallow: /
Мы пробовали:
1. Удаление файла robots.txt в корневом каталоге - неверный файл robots.txt по-прежнему отображается.
2. Добавьте правило перезаписи URL-адреса в web.config для отображения пользовательского robots.txt - в течение некоторого времени будет отображаться правильный файл robots.txt, а затем вернуться к другому.
Есть идеи, что наступает на наш специальный файл robots.txt?
Если вы используете инструменты управления IIS для обслуживания, похоже, что у них уже могут быть собственные настройки, которые он предположительно перезаписывает - если вы не настроили их в соответствующем месте:
Роботы IIS и расширение Sitemap