Есть ли способ запретить роботам смотреть каталог?

Как использовать Robots.txt в поисковой оптимизации (SEO)

Введите "Запрещать: / имя папки"
для любой папки, содержащей файлы, сканирование которых поисковыми системами запрещено.

Или введите "Disallow: /filename.filetype"
для любой страницы или файла, которые поисковые системы не должны индексировать.

Примечание к следующему примеру:

* Disallow: /private/
* Disallow: /private/image01.jpg

Создайте файл robots.txt в корневом каталоге вашего сайта. Внутри этого файла поместите

User-agent: *
Disallow: /images

Это называется файл robots.txt, и почти все роботы будут учитывать ваши запросы в файле robots.txt.

Вам понадобится что-то вроде следующего:

User-Agent: *
Disallow: /path/to/images/

Вы хотите robots.txt

Да вот так:

User-agent: *
Disallow: /MyImageDirectory

В корневом каталоге вы можете разместить robots.txt файл, который запрещает роботам индексировать определенные каталоги.

robots.txt обрабатывается только хорошо управляемыми роботами. не все из них ведут себя хорошо, как у основных поисковых систем - некоторые из них написаны некомпетентными шутами, некоторые - спамерами, которые ищут адреса электронной почты и так далее.

в любом случае вы также хотите отключить индексы для этого каталога ... либо с помощью файла .htaccess, либо в вашей конфигурации apache, например:

<Directory /path/to/images/dir>
  Options -Indexes
</Directory >

или поместив туда пустой файл index.html.

это помешает им увидеть список каталогов с файлами изображений. Это не будет не позволяйте им переходить по прямым ссылкам на изображения с других страниц вашего сайта.

на самом деле вы очень мало можете сделать, чтобы предотвратить доступ роботов общественный файлы на вашем веб-сервере, которые не будут причинять неудобства вашим пользователям и не увеличивают нагрузку на ваш сервер, обслуживая изображения только с помощью сценария, который обслуживает только вошедших в систему пользователей (например, путем проверки файла cookie).