Yahoo AdCrawler неоднократно повторно пробует некоторые URL-адреса. URL-адреса получают код ответа 302, поэтому я полагаю, что Yahoo следует вернуться и попробовать еще раз «позже», но «позже» в моей книге не означает, что 7 конкретных URL-адресов должны использоваться по 3000 раз в день каждый.
URL-адреса имеют стиль:
/find/product-abc123?ppcid=yahoo_PPC_Product
Часть запроса вполне может быть добавлена нашим клиентом, но я упоминаю об этом на случай, если это вызовет какие-либо проблемы.
На данный момент мы заблокировали AdCrawler в файле Robots.txt.
User-agent: Yahoo!-AdCrawler
Disallow: /
Если у вас есть какие-либо мысли, аналогичный опыт или идеи, я буду признателен за них. Спасибо.
AdCrawler НЕ то же самое, что Slurp, который Yahoo использует для создания своего индекса. AdCrawler является:
Недавно Yahoo! запустил еще один сканер (названный «Yahoo! -AdCrawler»), который также будет сканировать целевые страницы рекламодателей YSM. Этот сканер разработан, чтобы помочь нам проводить оценку релевантности этих страниц, что помогает нам сопоставлять объявления с конкретными поисковыми запросами.
Блокировать его совершенно безопасно - и настоятельно рекомендуется.