Хорошо, у меня возникла небольшая проблема. Наш сайт много сканирует Google. На это есть несколько причин, которые непросто изменить. Одна из которых заключается в том, что вы можете получить доступ к локализованным версиям нашего сайта через ita.example.com (итальянский) и fra.example.com (французский). Мы делаем 301 редирект, если не авторизованы, и контент не будет локализован (подумайте о сообщениях на форуме) но это по-прежнему вызывает большое количество сканирований из-за того, что Google думает, что наши 50 поддоменов - это разные сайты (не лучшая идея, но до моего времени и не легко изменить)
Я не хочу фиксировать ограничение скорости в Google, что, как я знаю, могу сделать с помощью инструментов для веб-мастеров или файла robots.txt.
Тем не менее, сообщения на форуме 7-летней давности на самом деле не меняются, и их не нужно сканировать ежедневно для 6 поддоменов.
Теперь я знаю, что могу установить на странице «истекает», но тогда он не будет отображаться в результатах поиска Google, и я мог бы заблокировать его с помощью метатега, но это будет делать то же самое.
Есть ли способ указать Google «Это старая страница, не сканируйте ее чаще, чем раз в год» или что-то в этом роде?
Если нет способа сделать это, есть ли способ установить ограничение скорости для определенных каталогов?
Вы можете установить метатег nofollow
<META NAME = "ROBOTS" CONTENT = "NOINDEX, NOFOLLOW">
sitemap.xml файлы (http://en.wikipedia.org/wiki/Sitemaps) включить <changefreq> элемент, указывающий, как часто поисковая система должна проверять наличие обновлений. Создание карты сайта и установка для этих URL-адресов ежемесячный, ежегодный или нулевой режим должны снизить частоту, с которой Google сканирует эти URL-адреса.