Кто-нибудь может объяснить мне разницу между настройкой разрешить и запретить в файле robots.txt и создать метатеги No follow, No index! Можно ли запретить подписку и индекс в файле robots.txt? Я смотрю на http://www.robotstxt.org/robotstxt.html и на самом деле не получил то, что искал! Спасибо
Файл robots.txt просто скажет роботу, куда ему можно идти, а где нет. Он не может заставить робота перейти по ссылке на другой веб-сайт. Метатег nofollow, noindex не позволит совместимому роботу индексировать или переходить по указанной ссылке или по ссылкам, содержащимся на веб-странице.
Запрещение робота в robots.txt с определенной страницы имеет тот же эффект, если установить META тег из noindex для этой страницы делает.
А META тег из nofollow запрещает поисковым системам переходить по ссылкам на странице, даже если им разрешено индексировать саму страницу. Нет никаких robots.txt версия этого.
noindex может быть полезным в некоторых ситуациях на динамических сайтах, где robots.txt недостаточно гибок. Например, если у вас есть система, в которой URL-адреса вида node/123, блокировка статей на основе определенных данных в статье должна выполняться с noindex, так как robots.txt может фильтровать только на основе содержимого самого URL.