Назад | Перейти на главную страницу

Автоматическое резервное копирование S3 в другое облако

Есть ли сервис для автоматического резервного копирования нашей учетной записи S3 во внешнее облако?

Вы можете посмотреть на облачное хранилище Google Cloud Platform. Он включает Трансферная служба который может выполнять запланированную ежедневную и / или разовую передачу корзины S3 в корзину Google Cloud Storage.

В Google Cloud Storage также есть возможность управления версиями, но по умолчанию она отключена. Из того, что я могу сказать, вам нужно включить управление версиями через командную строку или API (нет пользовательского интерфейса для управления версиями). Кроме того, невозможно просматривать или загружать разные версии файла через веб-интерфейс.

Некоторые недостатки: (1) Это не столько «РЕЗЕРВНОЕ КОПИРОВАНИЕ», сколько версионная репликация. (2) Кажется, что веб-интерфейс не предоставляет все необходимые функции. (3) Что произойдет, если служба трансфера столкнется с проблемой? Для моих целей я надеялся настроить это и игнорировать, если не было исключений. Похоже, что оповещение по электронной почте не встроено, поэтому кому-то нужно либо периодически посещать страницу статуса, либо каким-либо образом использовать API.

Я ничего не могу придумать, но это действительно тривиально просто сделать с помощью S3 API и другого облачного API. Вам, вероятно, понадобится промежуточный сервер, если у третьей стороны нет метода HTTP Pull.

Я бы, вероятно, установил микроэкземпляр EC2 под управлением ubuntu или что-то в этом роде и написал задание cron, которое копирует новые файлы в другое облако. Вы могли бы использовать find для поиска файлов, которые были изменены / созданы с момента последнего запуска cronjob.

Я бы, наверное, сделал это на python с python-boto. Кажется, неплохо работает для такого рода манипуляций с S3.

Если у вашего облачного провайдера есть метод HTTP Pull, вы можете просто установить ACL для объектов S3, чтобы разрешить аутентифицированный доступ по протоколу HTTP, и скопировать их таким образом.