Я настроил свой веб-сайт на vps, веб-сайт работает нормально, однако у меня возникла неизвестная проблема с серверами имен (?).
В принципе, я не могу сканировать сайт ни с помощью роботов w3, ни с помощью роботов Google. W3 говорит, что это проблема с сервером имен, а Google говорит, что это проблема с файлом robots.txt.
Я на 100% уверен, что это не проблема с моим файлом robots.txt, и я переустановил значения по умолчанию (сайт - Drupal) и даже попытался удалить весь файл robots.txt с сервера.
Поэтому я думаю, что это проблема с серверами имен, однако все средства прямой и обратной проверки серверов имен говорят, что проблем нет, и веб-сайт без проблем является сервером на доменном имени.
Я думаю, что это проблема с серверами имен, поскольку я могу правильно сканировать IP-адрес с помощью w3.org, который возвращает контент, но та же служба выдаст ошибку «500», когда я ввожу домен. Аналогичная проблема с Google, за исключением того, что я не могу проверить ip.
Может ли это быть проблемой конфигурации Apache ?? Я действительно понятия не имею и нигде не могу найти подобную проблему.
Мой сайт - mercadoingles.com, ip - 31.200.242.26. Я знаю, что очевидным ответом будет ошибка в robots.txt, но вы можете видеть, что файл правильный на mercadoingles.com/robots.txt, и у меня действительно нет ответа, почему сайт не может сканироваться должным образом,
Есть яркие идеи?
Хорошо - оказалось, что это была временная ошибка, которая была в кешах Google и wc3, поскольку я настраивал сервер при изменении настроек NS и DNS. Один отклоненный запрос был кэширован, и через несколько дней он уже работает, паника!