Когда я пытаюсь получить свой сайт как googlebot в инструментах для веб-мастеров, он возвращает Unreachable robots.txt, после расследования я понял, что бот Google видит мой сервер:
tcpdump | grep google
Он возвращает, что Google может получить доступ к моему серверу с IP-адресом aa.bb.cc.xx или aa.bb.cc.yy. но в access_log, error_log или других журналах apache ничего нет.
cat access_log | grep google or cat error_log | grep aa.bb.cc.xx
Другой бот (bing, ...) может получить доступ к apache, а Google - нет.
В моем robots.txt или его разрешения, потому что, как вы знаете robots.txt не является обязательным, поэтому я удаляю его, но снова инструменты для веб-мастеров вернули "Unreachable robots.txt", а не 404 not found!
Информация о сервере:
Как я могу исследовать проблему и есть ли другие команды, которые могут помочь мне найти проблему?
Вы удалили robots.txt файл, конечно, он «недоступен» - ошибка 404, которую Google получает в ответ на запрос, связана с тем, что файл не существует.
Если для инструмента требуется robots.txt чтобы существовать, то, вероятно, он вам нужен.