Я нахожусь в сложной ситуации, паук Baidu атакует мой сайт, вызывая пропускную способность около 3 Гб в день. В то же время я веду бизнес в Китае, поэтому не хочу просто его блокировать.
Кто-нибудь еще был в подобной ситуации (любой паук)? Придумали волшебное решение? Или вы просто согласились и либо заблокировали, либо не заблокировали бота?
Пока он следует за файлом robots.txt, вы можете ограничивать количество запросов.
User-agent: *
Crawl-delay: 10