У нас есть выделенный сервер с хостинговой компанией, на которой размещено несколько десятков веб-сайтов. Бывает, что IP-адреса серверов имен (например, ns1.domain.com, ns2.domain.com) совпадают с некоторыми клиентскими веб-сайтами, скажем, webclient1.com и webclient2.com
Проблема в том, что для определенных поисковых запросов в Google некоторые результаты отображаются как ns1.domain.com/result вместо webclient1.com/result, что довольно неправильно и раздражает наших клиентов. На самом деле, если вы введете в браузере ns1.domain.com или ns2.domain.com, вместо этого загрузятся некоторые клиенты страницы.
Есть ли способ запретить Google отслеживать эти результаты только в том случае, если роботы приходят проверять домены ns? Возможно, это тоже неправильно, но почему это происходит? это результат плохой конфигурации сервера? Я новичок в этих вопросах, поэтому заранее благодарю вас за любую помощь!
Похоже на ошибку конфигурации DNS, хотя трудно быть уверенным из того немногого, что вы сказали. Контент, который вы хотите проиндексировать, индексируется, но использует неправильные (хотя и работающие) URL-адреса, и ни один контент, который вы хотите скрыть, не индексируется, поэтому проблемы с роботами не возникают.
Предположительно, вы не хотите публиковать здесь подробности, поэтому проверьте свой DNS (прямой и обратный). Также убедитесь, что ссылки на вашем сайте используют имена, а не жестко заданные IP-адреса в URL.
Отдельный вопрос заключается в том, разумно ли использовать одни и те же общедоступные IP-адреса для серверов имен и веб-серверов, а другой - может ли помочь балансировщик нагрузки вашей хостинговой компании, разделив два типа трафика на разные частные IP-адреса.