robots.txt – список вопросов по тегу – страница №6

Я видел много файлов robot.txt и некоторые решения для перезаписи модов, которые выглядели многообещающими ... но не смог найти простого решения, чтобы заблокировать пауков /...

Мы знаем, что можем заблокировать сканирование страниц веб-сайтов определенными пауками с помощью robots.txt или .htaccess или, возможно, через файл конфигурации Apache...

Я хочу создать файл robots.txt с помощью Varnish 2.1. Что означает, что domain.com/robots.txt подается с использованием лака, а также subdomain.domain.com/robots.txt также...

Будет ли следующий синтаксис robots.txt правильно блокировать все страницы сайта, заканчивающиеся на "_.php"? Я не хочу случайно блокировать другие страницы. User-Agent: *...

Мы разрабатываем веб-сайты и размещаем среду контроля качества на том же сервере, что и производственная среда. Я хочу предоставить определенный файл robots.txt для всех сайтов...

Мой веб-сервер работает (apache 2.4.10) разные виртуальные хосты для следующего доменного имени: foo.example.com...

У меня есть файл robots.txt: User-agent: * Sitemap: Path_to_sitemap.xml Мой вопрос: нужно ли мне еще что-нибудь там разместить? Вроде разрешить Все что ли? Спасибо

У меня есть robots.txt, который выглядит так: User-agent: *...

У меня есть URL-адрес, который я не хочу индексировать: http://www.mysite.com/moduleA?param=secretkey...

Я просмотрел Интернет, пытаясь найти идеальный контент robots.txt для размещенного блога WordPress. Нашел несколько вариантов, например Вот и Вот. Я подумал, что это будет...