googlebot – список вопросов по тегу – страница №2
У нас есть несколько серверов LAMP на AWS с несколькими десятками веб-сайтов, которые заказчики платят нам за проектирование, создание и размещение. Это серверы Ubuntu 14.04 с...
У меня есть серверный URL-адрес, который я использую только для себя в Google Chrome. Это не публично. Однако по какой-то причине этот IP-адрес бота «Google Favicon»...
Как я могу заблокировать DDOS-атаки с помощью поддельных роботов Google? Я нашел в сети 2 решения. Но оба, похоже, также блокируют правильных ботов Google. # Block fake google...
Проблема: С помощью Prerender.io для индексации / хранения страниц одного сайта я продолжаю получать запросы пути, которые существуют только на моем старом сайте пример: на...
Хотя кажется, что это должно быть довольно просто, мне не удалось настроить apache, чтобы запросы googlebot не сохранялись в журнале доступа. Я пробовал следующие строки:...
У меня есть два доменных имени, указывающих на один и тот же виртуальный сервер. Один из них, http://ilarikaila.com, это рабочая брошюра, которую я сделал для друга. Я...
Время от времени я получаю сообщение от бота Google о том, что он не может получить доступ к моему веб-сайту. За последние 24 часа робот Googlebot обнаружил 1 ошибку при...
Итак, вот пример обращения, которое я получаю от робота Google: 66.249.73.171 - - [19/Feb/2013:16:12:39 -0500] "GET /eghm-blah.php?pid=2855 HTTP/1.1" 200 1684 "-" "Mozilla/5.0...
Я получаю сообщение об ошибке "Подключение к серверу" в инструменте Google для веб-мастеров. Я подозреваю, что это из-за правил iptables, которые я установил для...
В настоящее время нас сканируют с большей скоростью, чем мы можем справиться. Я не могу заставить nginx блокировать googlebot server {...