search-engine – список вопросов по тегу – страница №1

Я хочу заблокировать все запросы от поискового бота yandex.ru. Это очень интенсивный трафик (2 ГБ / день). Сначала я заблокировал один диапазон IP-адресов класса C, но похоже...

Если robots.txt файл отсутствует в корневом каталоге веб-сайта, как это делается: сайт вообще не индексируется сайт индексируется без ограничений По моему мнению, он должен...

Если у меня есть URL-адрес, который используется для получения сообщений, и я создаю его так: http://www.mydomain.com/somelonghash123456etcetc и этот URL-адрес позволяет другим...

У нас большой трафик и нагрузка на сервер на веб-сервере. Все, что я могу узнать, это то, что majestic12 постоянно обращается к страницам. Интересно, как я могу предотвратить...

Я ищу поисковую систему в интранете, которая может сканировать наши сайты в интранете. и сетевые ресурсы, такие как SMB, NFS и, возможно, AFP. Еще лучше для нас была бы...

У меня есть много резервных копий на моем NAS и моем выделенном сервере. Некоторые как копии внутри файловой системы, некоторые заархивированы как .zip или .tar. {Bz2 | gz}...

Индексирующий бот Google (правка: да, это Google, IP разрешает), кажется, добавляет произвольные строки запроса на нашу домашнюю страницу. xx.xxx.xx.xxx - -...

Недавно я попытался установить haystack с помощью поисковой системы whoosh. Это необходимо для работы с django 1.3 на производственном сервере nginx. Я выполнил инструкции по...

Я ищу решение для поиска в интрасети в Интернете для индексации некоторых общих ресурсов интрасети с помощью PDF / Doc / Textfiles и т. Д., А также, возможно, вики-страницы...

Я застрял в решении следующей проблемы. Имеем 2 контроллера домена и dns. Все работает как надо, кроме одной очень странной вещи. На DNS-серверах у нас есть 2 дополнительные...