У нас большой трафик и нагрузка на сервер на веб-сервере.
Все, что я могу узнать, это то, что majestic12 постоянно обращается к страницам.
Интересно, как я могу предотвратить индексирование сайта majestic12
Уважают ли они любую запись в robots.txt и как мне написать такой энты?
В соответствии с Собственная страница Majestic 12 о robots.txt, они полностью уважают исключение роботов (3-й ответ сверху). Файл robots.txt - это простой текстовый файл в корне вашего веб-сайта, то есть вы размещаете его по адресу:
http://www.yourdomain.com/robots.txt
и иметь эти строки в файле:
User-agent: MJ12bot
Disallow: /
Так что, если вы хотите заблокировать этого бота, я не вижу проблем - если только вы не столкнетесь с одним из фальшивых ботов, о которых они упоминают.
Для следующего вопроса оператора:
Интересно, упомянули ли они всех фейковых ботов? Почему кто-то может утверждать, что он величественный12?
Это была бы операция под ложным флагом. Вирус маскируется под легального бота / процесса для сканирования IP-адресов. Объяснение включено the majestic12 часто задаваемые вопросы спуск.