У нас есть приложение Rails 2.3.8, работающее на сервере nginx / пассажира. В последнее время краулеры создают на нас огромную нагрузку. Мы бы хотели включить кеширование страниц ТОЛЬКО для поисковых роботов (определенные IP-адреса), то есть сканеры получают статические страницы, срок действия которых истекает каждый день. Вопросы такие:
делать это в Nginx или Rails?
как реализовать эту стратегию кэширования IP
Я искал в googled nginx и rails, но пока безуспешно. Цените любой вклад!
Я бы вместо этого посмотрел на User-Agent строка для обнаружения сканеров. Затем вы можете использовать перезапись в Nginx или просматривать логику в Rails для отображения желаемого содержимого. В любом случае работает, вопрос просто в том, с какой технологией вы лучше всего знакомы.