Как скрыть адрес elasticbeanstalk.com от паблика (сканеры поисковых систем)
Я приобрел домен у godaddy (здесь упоминается как xyz.com). Я разместил свой веб-сайт на aws, используя elasticbeanstalk, который сгенерировал имя cname (здесь упоминается как abc.elasticbeanstalk.com).
Теперь в godaddy я выполнил 2 конфигурации: 1. Перенаправить xyz.com на www.xyz.com 2. Сопоставить cname www с abc.elasticbeanstalk.com
xyz.com и www.xyz.com правильно открываются в браузере, и вроде все нормально.
Проблема в том, что поисковые системы отображают abc.elasticbeanstalk.com в результатах поиска по ключевым словам, связанным с xyz.com.
Я хочу, чтобы abc.elasticbeanstalk.com был скрыт от всех этих поисковых роботов. Кто-нибудь раньше сталкивался с этой проблемой?
Вы можете установить канонический URL для сайта:
<link rel="canonical" href="https://example.com/current/request/uri" />
Другое возможное решение - настроить пользовательскую конфигурацию Apache для перенаправления посетителей, попадающих в домен EB. Это требует кастомный AMI для вашей установки EB.
Единственный способ правильно запретить поисковым системам индексировать ваш сайт - это добавить мета noindex.
<meta name="robots" content="noindex">
Чтобы предотвратить индексирование страницы только поисковыми роботами Google:
<meta name="googlebot" content="noindex">
Добавьте этот метатег на любую страницу, которую вы не хотите индексировать в Google.
Читать далее:https://support.google.com/webmasters/answer/93710?hl=en
да, приведенный выше пример файла robots заблокирует сканирование вашего сайта большинством поисковых систем, что может привести к тому, что он не будет проиндексирован. Это не обязательно означает, что он будет полностью деиндексирован, хотя есть небольшая вероятность, что он может быть проиндексирован. Единственный способ убедиться, что Google не проиндексирует ваш сайт, - это добавить метатег nofollow.
Из Документы службы поддержки Google
<meta name = "robots" content = "noindex">
Сделать файл http://abc.elasticbeanstalk.com/robots.txt со следующим содержанием:
User-agent: *
Disallow: /
Это сообщает всем сканерам поисковых систем, что вы не хотите, чтобы они посещали сайт. Это стандартный способ решения этой проблемы в течение многих лет.
Вы можете прочитать больше по этому поводу на http://www.robotstxt.org.