Я знаю, чтобы показать список каталогов моих файлов в браузере через .htaccess я могу использовать
Options +Indexes
и чтобы запретить Google и большинству ботов сканировать мой каталог, я могу использовать
Options -Indexes
Можно ли по-прежнему разрешить отображение видимого списка каталогов через браузер, но предотвратить сканирование / индексирование ботами только с помощью .htaccess?
Ваш .htaccess файл не может волшебным образом отличить «настоящих» пользователей от «ботов». Поскольку с точки зрения веб-сервера различий нет.
Однако, как правило, боты уважают содержимое robots.txt, а веб-браузеры - нет.
В качестве альтернативы, если у вас есть способ определить, что является ботом, а что нет, вы можете включить это правило в свою .htaccess конфигурация. Распространенной тактикой является применение набора RewriteRules, которые фильтруют на основе сообщенных User-Agent заголовок. Например, пользовательский агент, содержащий слово "googlebot", наверное под управлением Google.
User-Agents.org имеет список популярных идентификаторов пользовательских агентов. Но помните, что содержимое этого заголовка задается человеком, который запускает бот / браузер, и может содержать все, что он захочет. Так, например, злоумышленники обычно копируют строку User-Agent из популярного браузера или, возможно, популярной поисковой системы. Так что на это нельзя полагаться.