Я разместил витрину своего продукта на субдомене, например http://demo.domain.com/productname/. Демо-версия продукта находится по адресу http://demo.domain.com/productname/demo/. Я хочу запретить сканирование демо-версии, может ли кто-нибудь мне помочь?
Файл robots.txt должен находиться в корне; если вы поместили свою демонстрационную версию продукта в папку поддомена, вам необходимо изменить файл поддоменов robots.txt, который должен быть aka; http://demo.domain.com/robots.txt
robots.txt:
user-agent: *
disallow: /productname/demo
allow: /