У меня есть два разных сайта в iis7, оба указывают на одну и ту же папку, у них разные поддомены
www.sitename.com foo.sitename.com
По сути, это один и тот же веб-сайт, но он работает по разной логике в зависимости от субдомена.
Я хочу, чтобы www.sitename.com был проиндексирован в Google (он уже есть), но я не хочу, чтобы foo.sitename.com когда-либо был доступен для поиска.
могу ли я исключить его с помощью файла робота?
Они используют одну и ту же физическую папку? Единственный обходной путь, который я могу использовать в этом случае, - это использование urlrewrite для блокировки таких типов запросов к foo.somedomain.com. В противном случае можно использовать две отдельные папки и два файла robots.txt. Robots.txt настолько хорош, насколько хороша поисковая система, уважает она его или нет.
Еще один способ редактирования - поместить поддомен ниже корневого домена и использовать перезапись URL-адреса для перенаправления запросов к нему.