robots.txt – список вопросов по тегу – страница №1

Я только что обновил свой файл robots.txt на новом сайте; Инструменты Google для веб-мастеров сообщают, что прочитали мой robots.txt за 10 минут до моего последнего обновления...

Я пытаюсь установить robots.txt для всех виртуальных хостов под http сервером nginx. Я смог сделать это в Apache, поместив в основной httpd.conf: <Location "/robots.txt">...

Чтобы: Повысьте безопасность моего сайта Уменьшите требования к пропускной способности Предотвратить сбор адресов электронной почты

У нас есть настроенный веб-сервер разработки XAMPP Apache с виртуальными хостами, и мы хотим, чтобы серпы не сканировали все наши сайты. Это легко сделать с помощью файла...

Если я хочу, чтобы мой основной веб-сайт отображался в поисковых системах, но ни один из поддоменов не был, должен ли я просто поместить файл robots.txt «запретить все» в...

Я хочу создать один файл robots.txt и использовать его для всех сайтов в моем экземпляре IIS (в данном случае 7). Я не хочу настраивать что-либо на каком-то отдельном сайте...

Я хочу заблокировать все запросы от поискового бота yandex.ru. Это очень интенсивный трафик (2 ГБ / день). Сначала я заблокировал один диапазон IP-адресов класса C, но похоже...

Кажется, я не могу правильно настроить nginx для возврата содержимого robots.txt. В идеале мне не нужен файл, и я просто хочу обслуживать текстовый контент, настроенный...

Если robots.txt файл отсутствует в корневом каталоге веб-сайта, как это делается: сайт вообще не индексируется сайт индексируется без ограничений По моему мнению, он должен...

Если у меня есть URL-адрес, который используется для получения сообщений, и я создаю его так: http://www.mydomain.com/somelonghash123456etcetc и этот URL-адрес позволяет другим...