robots.txt – список вопросов по тегу – страница №7

Я только что читал на сайте Yoast Вот о том, как должен выглядеть правильный файл robots.txt с учетом последних практик SEO. В своем примере Yoast использует следующее:...

Я сегодня заметил кое-что странное. если я пойду в http://www.google.com/robots.txt, IE11 показывает мне содержимое файла робота Google. Однако, если я перейду на свой сайт...

у нас есть коммерческий веб-сайт с относительно небольшим количеством клиентов одновременно ~ 30 пользователей. Часто веб-краулеры, такие как бот Google, бот bing и 80legs...

Часто задаваемые вопросы для веб-мастеров Google предполагаем, что это исключит из поиска все файлы xml: User-agent: Googlebot...

Я недавно попросил 301 перенаправление на ServerFault и я не нашел правильного решения моей проблемы, но теперь у меня есть новая идея: используйте robots.txt, чтобы запретить...

я бы хотел создать общедоступный сайт Google Apps (т.е. пользователям не нужно проходить аутентификацию для доступа к контенту) при сохранении политика исключения сканеров и...

После редактирования файла robots.txt При доступе к файлу domaon.com/robots.txt я обнаружил, что сам файл был отредактирован, но он не появится при доступе к нему в браузере. А...

Я пытаюсь заблокировать некоторых ботов, написав правило RewriteCond в файле htaccess. Правильный ли следующий набор правил, если я добавлю следующее: ## block traffic from...

Как многие из тех, кто писал здесь, мой сервер apache жестоко забит до смерти роботами, большинство из которых являются хорошими роботами. Невозможно изменить их скорость...

У меня есть два разных сайта в iis7, оба указывают на одну и ту же папку, у них разные поддомены www.sitename.com foo.sitename.com По сути, это один и тот же веб-сайт, но он...