Могу ли я сделать то же самое, что и robots.txt, в настройках IIS? Рассказывая
User-agent: * Disallow: /
в заголовке хоста или через web.config?
Нет, это не определенный способ. Либо есть robots.txt или HTML-метатег, как описано в http://en.wikipedia.org/wiki/Meta_element#The_robots_attribute
Доступны только эти два варианта.
Вы можете использовать один файл robots.txt, хранящийся где-то на вашем веб-сервере, и перенаправлять все запросы на любой сайт, размещенный на вашем сервере IIS, для robots.txt в этот файл. Это будет изменение для каждого сайта в IIS, но вы можете сделать это программно с помощью PowerShell.