Можно ли запретить поисковому роботу загружать файлы (например, zip-файл) на мой сервер?
Я предполагал создать PHP-скрипт с использованием файлов cookie для отслеживания посетителей, особенно веб-сканеров, для входа / регистрации после загрузки 3 файлов. Но я обнаружил, что поисковый робот может обходить файлы cookie.
Можно ли заблокировать поисковый робот? Или есть какой-либо другой вариант, который скроет файлы от веб-сканера после того, как он загрузит до 3 файлов?
Я могу легко создать PHP-скрипт, используя файлы cookie, чтобы заставить посетителей входить / регистрироваться, но как насчет веб-сканера?
Кстати, я использую nginx и drupal CMS. Просто предоставьте эту информацию, если это может помочь.
Итак, если вы правильно спроектировали свой сайт, не будет никакой разницы в безопасности, которая вам нужна для клиента по сравнению с каким-либо поисковым роботом. Исходя из того, что вы сказали, что полагаетесь на файлы cookie для отслеживания этого, злоумышленник может легко обойти вашу «безопасность». Похоже, вы обрабатываете только тот случай, когда клиент хорошо себя ведет. Это нормально для некоторых сайтов (черт возьми, NYTimes это делает). Вам решать, нужна ли вам дополнительная безопасность (которая может добавить сложности), или все в порядке без нее.
Сканеры не обязательно отправляют файлы cookie, но опять же, обычные веб-браузеры тоже. Единственное возможное решение здесь - отслеживать загрузки через IP-адрес (хотя с IPv6 это становится бесполезным).