У нас есть простой балансировщик нагрузки, настроенный на Rackspace на 3 узла веб-сервера. После анализа нашего трафика и расходов выяснилось, что самым большим потребителем пропускной способности является Google Bot. Поскольку в Rackspace мы платим за пропускную способность байтами, мы хотели бы направлять весь трафик от GoogleBot на другой хост (MediaTemple) с неограниченной пропускной способностью.
Мы думаем, что это сократит наш счет за хостинг на несколько тысяч долларов в месяц.
Это возможно? Целесообразно?
Это возможно, но усложнит вашу инфраструктуру, и вам понадобится глобальный балансировщик нагрузки, размещенный где-то (возможно, AWS) перед стоечным пространством. Также вам нужно быть осторожным, если Googlebot обнаружит, что это не ваш действующий сайт, это может повредить вашему рейтингу.
Другие варианты, ограничьте googlebot, пока вы отслеживаете рейтинг или поговорите с Rackspace, посмотрите, что они могут предложить в целом, по моему опыту, у них есть отличные люди, которые могут здесь дать совет (для записи и не для записи).
Подумайте, что лучший вариант - определить содержимое страницы, которое Google сканирует, и кэшировать его в CDN, пропускная способность будет выгружена в другом месте (должно быть дешевле), и в качестве бонуса вы также получите более масштабируемое решение.