Я только что обновил свой файл robots.txt на новом сайте; Инструменты Google для веб-мастеров сообщают, что прочитали мой robots.txt за 10 минут до моего последнего обновления.
Могу ли я побудить Google как можно скорее перечитать мой файл robots.txt?
ОБНОВЛЕНИЕ: В разделе конфигурации сайта | Доступ сканера | Тестовый robots.txt:
Доступ к домашней странице показывает:
Робот Googlebot заблокирован от http://my.example.com/
К вашему сведению: файл robots.txt, который Google последний раз прочитал, выглядит так:
User-agent: *
Allow: /<a page>
Allow: /<a folder>
Disallow: /
Я выстрелил себе в ногу, или в конце концов будет написано: http: ///robots.txt (как в прошлый раз)?
Есть идеи о том, что мне нужно делать?
Если кто-то еще столкнется с этой проблемой, есть способ заставить Google-бота повторно загрузить файл robots.txt.
Перейдите в "Здоровье" -> "Получить как Google" [1] и загрузите /robots.txt.
Это повторно загрузит файл, и Google также повторно проанализирует файл.
[1] в предыдущем пользовательском интерфейсе Google это было «Диагностика -> Получить как GoogleBot».
Я знаю, что это очень старый, но ... Если вы загрузили неправильный файл robots.txt (запрещая все страницы), вы можете попробовать следующее:
когда Google пытается прочитать XML-карту сайта, он снова проверяет файл robots.txt, вынуждая Google перечитать ваш robots.txt.
ХОРОШО. Вот что я сделал, и через несколько часов Google перечитал мои файлы robots.txt.
У нас есть 2 сайта на каждый 1 сайт, который мы запускаем. Назовем их каноническим сайтом (www.mysite.com) и сайтом с открытым доменом (mysite.com).
Наши сайты настроены так, что mysite.com всегда возвращает 301 редирект на www.mysite.com.
После того, как я установил оба сайта в инструментах Google для веб-мастеров, сказал ему, что www.mysite.com является каноническим сайтом, и вскоре после этого он прочитал файл robots.txt на каноническом сайте.
Я действительно не знаю почему, но вот что случилось.
После такой же проблемы я успешно заставил Google перечитать мой файл robots.txt, отправив по этому URL:
Сократите интервал сканирования Google на несколько дней.
Кроме того, я видел там кнопку для проверки вашего robots.txt, это может заставить его перейти в Google, но я не уверен.