У меня есть файл robots.txt:
User-agent: *
Sitemap: Path_to_sitemap.xml
Мой вопрос: нужно ли мне еще что-нибудь там разместить? Вроде разрешить Все что ли?
Спасибо
Это действующий файл robots.txt. Вы можете прочитать этот пост в Google: http://www.google.com/support/webmasters/bin/answer.py?hl=ru&answer=156449.
Зависит от того, что вы хотите ;-) Вам не обязательно разрешать что-то. специальный, просто заблокируйте то, что вы не смогли бы сканировать Google и Ко.