Решение для резервного копирования, управления версиями и репликации файловых данных

У нас есть растущий набор файлов данных (файлы .wav, файлы изображений и т. Д.), Которые являются данными, то есть не являются частью кода приложения - загружаются и изменяются пользователями. Количество файлов составляет 1000, а общий размер достигает ГБ.

У нас есть несколько кластеров серверов в разных местах по всему миру (США, ЕС, ME). В каждом кластере важно, чтобы данные обслуживались локально, а не с S3 (файлы данных не обслуживаются напрямую клиентам, а обрабатываются серверами). Мы хотим назначить файловый сервер в каждом месте, который будет передавать файлы через NFS другим узлам в том же кластере.

Итак, суть в следующем:

• Файлы, загруженные через приложение, должны оказаться в S3.
• Каждый узел файлового сервера должен реплицировать эти файлы.

Мы видим несколько вариантов:

• Используя origin файловый сервер, который реплицируется на S3 для резервного копирования / управления версиями и к узлам через rsync (или похожие).
• То же, что и выше, но рабы копируют из S3 используя что-то вроде инструмента S3 или аналогичного.
• Не использовать origin - код приложения загружается прямо в S3, и ведомые устройства копируют, как указано выше.

Нам было интересно, какое решение является рекомендуемым и какие инструменты доступны для части репликации (то есть в категории файловая система-файловая система и в категории файловая система / S3).