robots.txt – список вопросов по тегу – страница №4

Есть ли способ заменить файл robots.txt в nginx на основе имени хоста? В настоящее время у меня www.domain.com и backup.domain.com указывают на один и тот же сервер nginx, но я...

Существует ли прямой прокси-сервер, который будет искать и подчиняться robots.txt файлы в удаленных интернет-доменах и применять их от имени запрашивающих через прокси...

Я пытаюсь переписать имя файла на основе домена сервера. Этот код ниже неверен / не работает, но иллюстрирует желаемый эффект. <If "req('Host') != '*.mydevserver.com'">...

Когда я пытаюсь получить свой сайт как googlebot в инструментах для веб-мастеров, он возвращает Unreachable robots.txt, после расследования я понял, что бот Google видит мой...

Могу ли я сделать то же самое, что и robots.txt, в настройках IIS? Рассказывая User-agent: * Disallow: / в заголовке хоста или через web.config?

Я использую Apache 2.2, и мой сервер работает нормально. Заметил эту странную аномалию в моем файле access.log, как мне ее предотвратить? robots.txt не работает. 127.0.0.1 - -...

Я хочу перенаправить все запросы на «robots.txt», если домен содержит «.our-internal-devel-domain.de». Он должен быть общесерверным, потому что, когда мы разрабатываем веб-сайт...

Ежедневно краулер facebook получает около 3000 404 обращений или больше. Журнал как X.X.X.X Y.Y.Y.Y - - [24/May/2017:03:43:35 +0000] "GET...

Я хочу запретить /path но также хочу позволить /path/another-path в robots.txt. Я уже пробовал: Disallow: /path...

Я отказываюсь индексировать папку с именем pdf через robots.txt. Однако я делаю прямую ссылку на несколько файлов, которые существуют в этом каталоге. Будут ли поисковые...