robots.txt – список вопросов по тегу – страница №2

Привет, Обычно, если я набираю в адресной строке oneofmysites.com/robots.txt, любой браузер будет отображать содержимое файла robots.txt. Как видите, это довольно стандартное...

Сайт сканирует анонимный бот, размещенный на Amazon ec2. Этот робот не уважает robots.txt и создает высокую нагрузку на веб-сервер, поэтому я добавил проверку, заканчивается ли...

Кто-нибудь может объяснить мне разницу между настройкой разрешить и запретить в файле robots.txt и создать метатеги No follow, No index! Можно ли запретить подписку и индекс в...

Я нахожусь в сложной ситуации, паук Baidu атакует мой сайт, вызывая пропускную способность около 3 Гб в день. В то же время я веду бизнес в Китае, поэтому не хочу просто его...

Я запускаю ossec на своем сервере и периодически получаю такое предупреждение: Received From: myserver->/var/log/auth.log...

У нас есть сайт IIS, на котором работает Dotnetnuke, который мы переняли у другой группы. Мы добавили файл robots.txt в корень, но он возвращает 404. На самом деле любой...

Один из моих сайтов получал запросы от googlebot в следующем порядке: example-log:66.249.79.216 - - [06/Apr/2016:15:36:56 -0700] "GET /vvytnoxvontwusz.html HTTP/1.1" 404 15136...

Файл robots.txt Yahoo содержит: User-agent: * Disallow: /p/ Disallow: /r/ Disallow: /*? Что означает последняя строчка? ("Запретить: / *?")

Есть ли способ заблокировать автономные браузеры (например, Teleport Pro, Webzip и т. Д.), Которые отображаются в журналах как «Mozilla»? Пример: Webzip отображается в журналах...

глядя на мой журнал доступа Apache, я вижу, что сканеры, как правило, получают старые версии страниц и документов, например: 119.63.196.86 - - [10/Jun/2011:10:36:31 +0200] "GET...