Я просмотрел Интернет, пытаясь найти идеальный контент robots.txt для размещенного блога WordPress. Нашел несколько вариантов, например Вот и Вот.
Я подумал, что это будет хороший вопрос для ServerFault: для «простого» блога поверх WordPress, какой файл robots.txt будет идеальным?
В настоящее время у меня есть следующий файл robots.txt, который я нашел в другом месте в Интернете:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /
# digg mirror
User-agent: duggmirror
Disallow: /
Спасибо
Не существует "идеального" файла robots.txt, но найдется идеальный для вас. Просто определитесь, что вы хотите, чтобы боты видели, и создайте файл robots.txt, который запрещает все остальное. Строки «разрешить» не нужны, поскольку роботы анализируют эти файлы, чтобы определить, на что вы не хотите, чтобы они смотрели, а затем предполагают, что все остальное - честная игра. например Часть моего собственного файла robots.txt, которая применяется к wordpress:
Disallow: /blog/wp-*.php
Disallow: /blog/wp-admin/
Disallow: /blog/wp-includes/
Disallow: /blog/wp-content/
Я никогда не думал об использовании robots.txt файл с wordpress раньше - я просто убеждаюсь, что права на файлы, которые я не хочу запускать случайными пользователями (например, установщик или программа обновления), верны.