Итак, вот пример обращения, которое я получаю от робота Google:
66.249.73.171 - - [19/Feb/2013:16:12:39 -0500] "GET /eghm-blah.php?pid=2855 HTTP/1.1" 200 1684 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
Мои сообщения настроены на увеличение pid для новых сообщений ... однако самый высокий pid У меня их 13. Робот Google медленно увеличивает номера страниц и ищет новые сообщения. Когда он делает попытку доступа, он не будет 404 как eghm-blah.php отобразит сообщение о том, что не может найти ваше сообщение.
Есть ли способ остановить googlebot от попадания на мой сервер несколько раз в день в поисках несуществующих pid?
eghm-blah.php должен установить код возврата 404. Вы по-прежнему можете отображать все, что хотите, на странице, но код возврата должен быть 404.