Проблема: С помощью Prerender.io для индексации / хранения страниц одного сайта я продолжаю получать запросы пути, которые существуют только на моем старом сайте
пример: на Prerender я увижу, что Googlebot запросил http://www.new-site.com/old/site/path
У меня старый сайт old-website.com и новый (new-site.com).
Оба веб-сайта находятся на разных серверах с разными IP-адресами (хотя old-website раньше жил на сервере, который new-site теперь живет. new-site не имеет этих старых URL-адресов нигде ни на одной из карт сайта, кроме того, эти страницы возвращают 404.
Я не уверен, где сказать Google, чтобы он прекратил запрашивать эти страницы. Для быстрого решения я добавил их в свой robots.txt, но это похоже на кратковременный взлом. Новый сайт представляет собой одностраничное приложение, а старый сайт - это wordpress.
Задайте этот вопрос в Форум Google для веб-мастеров, за которым следят не только старшие пользователи с прямым доступом к Google, но и сотрудники Google.
Здесь есть несколько вещей, которые могут вам помочь
Вы ставили на сайт редирект 301? Если нет, сделайте это сразу же, а также любые соответствующие страницы, которые необходимо перенаправить.
Вы обновляли карты сайта через консоль поиска?
Вы пробовали вручную переключать ссылки?