Я использую Apache 2.2, и мой сервер работает нормально. Заметил эту странную аномалию в моем файле access.log, как мне ее предотвратить? robots.txt не работает.
127.0.0.1 - - [17/Apr/2011:12:17:00 +0100] "GET / HTTP/1.1" 200 3022 "-" "msnbot/1.1 (+http://search.msn.com/msnbot.htm)"
127.0.0.1 - - [17/Apr/2011:12:17:00 +0100] "GET /icons/blank.gif HTTP/1.1" 200 487 "http://localhost/" "msnbot/1.1 (+http://search.msn.com/msnbot.htm)"
127.0.0.1 - - [17/Apr/2011:12:17:00 +0100] "GET /icons/layout.gif HTTP/1.1" 200 616 "http://localhost/" "msnbot/1.1 (+http://search.msn.com/msnbot.htm)"
127.0.0.1 - - [17/Apr/2011:12:17:00 +0100] "GET /icons/folder.gif HTTP/1.1" 200 564 "http://localhost/" "msnbot/1.1 (+http://search.msn.com/msnbot.htm)"
127.0.0.1 - - [17/Apr/2011:12:17:00 +0100] "GET /icons/compressed.gif HTTP/1.1" 200 1379 "http://localhost/" "msnbot/1.1 (+http://search.msn.com/msnbot.htm)"
127.0.0.1 - - [17/Apr/2011:12:17:01 +0100] "GET /icons/image2.gif HTTP/1.1" 200 650 "http://localhost/" "msnbot/1.1 (+http://search.msn.com/msnbot.htm)"
Это бот-атака, или мой сервер облажался? Как мне это исправить, чтобы это не повторилось?
MSNbot будет веб-сканером, который Microsoft использует для msn / live / bing. Обычно это не «опасно». Он будет подбирать файлы robots.txt и подчиняться им, если они у вас правильно настроены (см. Ответ user74596). Прежде чем он загрузит файл robots.txt, может пройти день или два.
Если вы хотите, чтобы люди могли найти ваш сайт в поисковых системах, перечисленных выше, вам не следует блокировать доступ к вашему сайту.
У вас есть robots.txt?
Если нет, то вам следует создать его. Вы можете прочитать об этом Вот.