У меня есть несколько файлов, которые можно скачать с моего сайта. Каждые несколько часов все файлы загружаются с одного IP-адреса (98.137.207.97 - может быть, Yahoo?). Как мне продолжить? Должен ли я просто заблокировать IP-адрес (и надеяться, что загрузки не будут загружены другим IP-адресом) или есть лучшие способы справиться с этим?
Вы должны создать robot.txt файл, если вы не хотите, чтобы роботы / пауки и т. д. сканировали определенные части вашего сайта.