Часто задаваемые вопросы для веб-мастеров Google предполагаем, что это исключит из поиска все файлы xml:
User-agent: Googlebot
Disallow: /*.xml$
Законно ли это и для других ботов?
User-agent: *
Disallow: /*.xml$
Да, это действительно так. Однако, поймут ли другие боты и будут ли им подчиняться, полностью зависит от них!