Большой, высокопроизводительный объект или хранилище ключей / значений для обслуживания HTTP в Linux

У меня есть служба, которая предоставляет изображения конечным пользователям с очень высокой скоростью, используя простой HTTP. Образы варьируются от 4 до 64 Кбайт, а всего их 1.300.000.000. Размер набора данных составляет около 30 ТиБ, а изменения (новые объекты, обновления, удаления) составляют менее 1% запросов. Количество запросов на пр. вторые варьируются от 240 до 9000 и рассредоточены практически по всему телу, при этом некоторые предметы особенно «горячие».

На данный момент эти образы представляют собой файлы в файловой системе ext3, распределенные только для чтения на большом количестве серверов среднего уровня. Это создает несколько проблем:

• Использование файловой системы очень неэффективно, поскольку размер метаданных велик, кеш inode / dentry нестабилен в Linux, а некоторые демоны стремятся использовать stat () / readdir () через структуру каталогов, что в моем случае становится очень дорогостоящим.
• Обновление набора данных занимает очень много времени и требует повторного подключения между наборами A и B.
• Единственная разумная обработка - это работа с блочным устройством для резервного копирования, копирования и т. Д.

Я бы хотел, чтобы демон:

• говорит HTTP (получить, поставить, удалить и, возможно, обновить)
• хранит данные в эффективной структуре.
• Индекс должен оставаться в памяти, и, учитывая количество объектов, накладные расходы должны быть небольшими.
• Программное обеспечение должно быть способно обрабатывать массивные соединения с медленным (если вообще есть) временем, необходимым для наращивания.
• Индекс должен быть прочитан в памяти при запуске.
• Статистика была бы хороша, но не обязательна.

Я немного поэкспериментировал с riak, redis, mongodb, kyoto и varnish с постоянным хранением, но у меня еще не было возможности углубиться в это.