У меня несколько сайтов в /24 сеть, которую Google сканирует довольно регулярно. Обычно это нормально. Однако, когда Google начинает сканировать все сайты одновременно, небольшой набор серверов, поддерживающих этот IP-блок, может значительно снизить нагрузку.
С помощью инструментов Google для веб-мастеров вы можете ограничить рейтинг робота Google в определенном домене, но я еще не нашел способа ограничить работу бота в IP-сети. У кого-нибудь есть опыт в этом? Как ты это починил?
Я нашел эти заметки интересными для продолжения
Вы можете зайти в Google и создать учетную запись с инструмент для веб-мастеров а затем вы можете контролировать сканирование ставка для каждого сайта. Перейдите в раздел Конфигурация сайта :: Настройки :: Скорость сканирования. Это не позволит вам планировать свои сайты в определенном порядке, я не верю, но вы можете хотя бы замедлить его для всех.
Если вы запустите BGP, вы можете просто ограничить скорость AS15169 (AS-GOOGLE), но выполнение этого вручную, вероятно, будет слишком подвержено ошибкам.
Нет, не везет. Вы должны поместить это в файл robots.txt на каждом сайте. Google - справедливо - не имеет, так сказать, «владельцев IP-адресов». Все управление происходит из файла robots.txt на веб-сайтах.