У меня есть балансировщик нагрузки, использующий apache: http://httpd.apache.org/docs/2.2/mod/mod%5Fproxy%5Fbalancer.html
Проблема в нашей пропускной способности. Мы пытаемся получить больше, но интернет-провайдер должен запускать новые линии и продолжает откладывать нас, поэтому я хотел бы ограничить количество пауков, чтобы сохранить пропускную способность, пока мы не сможем получить больше. Я пробовал мод cband, но он не работает на виртуальных хостах с балансировкой нагрузки.
Есть ли какие-либо модули apache, которые могут регулировать трафик на виртуальных хостах с балансировкой нагрузки?
Это не модуль apache, но вы можете попробовать использовать директиву «Crawl delay» в robots.txt, чтобы замедлить хорошо себя ведающих пауков.
http://en.wikipedia.org/wiki/Robots_exclusion_standard#Crawl-delay_directive