Мне нужно знать, какое лучшее (читай: высокопроизводительное и отказоустойчивое) решение для файловой системы на основе Amazon S3. Я посмотрел s3fs, но заметил, что он давно не работал, и это заставило меня задуматься о стабильности и функциях.
Какие еще решения для файловой системы вы использовали и какой у вас опыт работы с ними?
Возможно, вам будет интересен S3QL. Я не собираюсь здесь хвалить его (потому что я разработчик), но есть сравнение S3QL с другими файловыми системами S3 на http://code.google.com/p/s3ql/wiki/other_s3_filesystems.
Вы не получите ничего «высокопроизводительного» (по крайней мере, по сравнению с современными дисковыми системами хранения) при работе с задержками, присущими использованию удаленного хранилища. Производительность также снижается из-за того, что целевое «устройство» не является блочным устройством, что требует наличия уровня абстракции, который еще больше снижает производительность. S3 лучше всего подходит для того, для чего он предназначен: для хранения и извлечения отдельных файлов с помощью http (s).
Что касается отказоустойчивости: вот область, в которой S3 выделяется. Стандартные корзины S3 переживут выход из строя двух объектов Amazon, что неплохо с учетом того, что вы платите. Если ваши потребности не такие строгие, они также недавно выпустили несколько менее избыточные (но примерно на 30% дешевле) корзины RRS, которые настроены так, чтобы выдерживать отказ одного из объектов Amazon.
Nasuni - это стартап с относительно недорогим облачным хранилищем. Стоит изучить, если вам нужно просто защитить ТБ данных на S3.
p.s. Я не связан с компанией, просто поклонник технологий.
Вы также можете попробовать Amazon EFS, ObjectiveFS или SoftNAS.