robots.txt – список вопросов по тегу – страница №3

Я размещаю несколько репозиториев git на git.nomeata.de, используя gitweb (и gitolite). Иногда появляется паук поисковой машины и начинает работать с интерфейсом. Хотя я обычно...

Я хочу поэкспериментировать с созданием поискового робота. Я начну с индексации нескольких веб-сайтов среднего размера, таких как Stack Overflow или Smashing Magazine. Если это...

Инструменты Google для веб-мастеров уведомили меня о слишком большом количестве повторяющихся URL-адресов. Были добавлены некоторые параметры, о которых я не знаю, и мне нужно...

Каждый день мой журнал доступа выглядит примерно так: 66.249.78.140 - - [21/Oct/2013:14:37:00 +0200] "GET /robots.txt HTTP/1.1" 200 112 "-" "Mozilla/5.0 (compatible;...

У меня есть сервер под управлением Windows Server 2008 R2, в последнее время мои веб-сайты перестают отвечать, по крайней мере, один раз в день, по-видимому, через случайные...

Я нашел этот скрипт и подумал, не стоит ли его использовать? Мне лучше просто использовать mod_security? # Generated using http://solidshellsecurity.com services...

Я знаю могу создать ОДИН файл robots.txt для всех доменов на сервере Apache *, но я хочу добавить в файл robots.txt каждого домена (если он уже существует). Мне нужны некоторые...

А сценарий шаблона рельсов что я смотрел автоматически добавляет User-Agent: и Dissalow: в robots.txt, тем самым запрещая всем паукам с сайта Каковы преимущества запрета пауков...

У меня есть куча файлов на www.example.com/A/B/C/NAME (A, B, C меняются местами, NAME статично), и я в основном хочу добавить команду в robots.txt, чтобы сканеры не перейдите...

Текущая ситуация такова, что мы получаем тысячи и тысячи ошибок 404 от ботов, которые ищут robots.txt в разных местах на нашем сайте из-за перенаправления домена. Наш старый...