robots.txt – список вопросов по тегу – страница №5

Я немного не уверен в точном синтаксисе robots.txt, но вот чего я пытаюсь достичь: Скажите всем пользовательским агентам, чтобы они не сканировали определенные страницы...

Я заблокировал страницу в robots.txt в разделе User-agent: * и попытался вручную удалить этот URL-адрес из кеша Google с помощью инструментов для веб-мастеров. Google сказал...

У меня есть сайт, работающий на Node.js (Express) и Apache httpd. Сотни запросов поступают с вредоносных IP-адресов, которые я активно блокирую. (У меня есть сценарий, который...

У меня есть сайт рельсов, использующий AWS ALB, и все маршруты работают, кроме одного, robots.txt. Я получаю сообщение об ошибке «ERR_TOO_MANY_REDIRECTS», ссылка на пример:...

У нас есть собственный файл robots.txt в корне нашего веб-сайта Azure облачной службы IIS, который некорректно отображается при переходе на www.oursite.com/robots.txt...

Недавно я обнаружил, что некоторые парни пытаются отразить мой сайт. Они делают это двумя способами: Притворись пауками Google. Журналы доступа следующие: 89.85.93.235 - -...

У меня есть файл .htaccess с правилом перезаписи, чтобы получить перенаправление каждого HTTP-запроса на HTTPS. Но теперь у меня проблема, что мой robots.txt не распознается...

У меня есть два доменных имени, указывающих на один и тот же виртуальный сервер. Один из них, http://ilarikaila.com, это рабочая брошюра, которую я сделал для друга. Я...

У меня есть файл robots.txt: User-Agent: *...

У нас есть выделенный сервер разработки, который запускает только тестовые приложения PHP в общедоступной сети. У нас есть настройка аутентификации на основе сеанса для сайта...