Я хочу запретить /path но также хочу позволить /path/another-path в robots.txt. Я уже пробовал:
Disallow: /path
Или:
Disallow: /path$
Но не работает, я имею ввиду заблокирован /path/another-path слишком. Возможно ли это? Любая помощь будет оценена.
Вы могли бы использовать Allow. Но учтите, что это не часть исходной «спецификации», однако некоторые поисковые системы поддерживают ее.
User-agent: *
Allow: /path/another-path
Disallow: /path/
Видеть http://en.wikipedia.org/wiki/Robots_exclusion_standard#Allow_directive, например.