googlebot – список вопросов по тегу – страница №1

С некоторого времени (уже более месяца) я вижу в журналах apache такие строки: 180.76.15.138 - - [24/Jun/2015:16:13:34 -0400] "GET /manual/de/mod/module-dict.html HTTP/1.1" 403...

Я запускаю ossec на своем сервере и периодически получаю такое предупреждение: Received From: myserver->/var/log/auth.log...

Один из моих сайтов получал запросы от googlebot в следующем порядке: example-log:66.249.79.216 - - [06/Apr/2016:15:36:56 -0700] "GET /vvytnoxvontwusz.html HTTP/1.1" 404 15136...

Я хотел бы добавить ".googlebot.com" в список игнорирования для fail2ban, поскольку в объяснении ignoreip упоминается хост DNS как принятый ввод. Это правильный формат? #...

Наш сайт основан на Angular, что делает его практически полностью основанным на JavaScript, поэтому нам необходимо предоставить роботу Googlebot статические снимки HTML, чтобы...

Каждый день мой журнал доступа выглядит примерно так: 66.249.78.140 - - [21/Oct/2013:14:37:00 +0200] "GET /robots.txt HTTP/1.1" 200 112 "-" "Mozilla/5.0 (compatible;...

Следующий https://serverfault.com/questions/418735/unbelievable-issue-a-single-apache-process-takes-4-gb-of-memory Я публикую как новый вопрос, потому что мне удалось...

Когда я пытаюсь получить свой сайт как googlebot в инструментах для веб-мастеров, он возвращает Unreachable robots.txt, после расследования я понял, что бот Google видит мой...

Я веду сайт волонтерской организации. Я переместил сайт на WordPress, но так было не всегда. Я подозреваю, что однажды он был сильно взломан. Мой файл журнала ошибок Apache...

Итак, я ищу систему, которая по существу возвращает 401 для каждого посетителя, у которого нет определенного файла cookie. Я хотел бы сделать так, чтобы если посетитель /...