Назад | Перейти на главную страницу

Резервное копирование AWS EFS в S3

Я отчаянно пытался найти способ сделать резервную копию моей файловой системы AWS EFS на S3, но не могу найти его.

Есть несколько запущенных экземпляров EC2, каждый из которых имеет доступ к упомянутой EFS. Чтобы уменьшить трафик, я уже пробовал запустить лямбда-функцию, которая соединяется по SSH с экземплярами EFS и запускает «aws s3 sync ...». К сожалению, SSHing из служб Lambda не кажется хорошим готовым продуктом.

Я также пробовал адаптировать DataPipeline, но запуск дополнительных экземпляров только для резервного копирования тоже кажется проблемой.

Нет ли простого способа резервного копирования EFS на S3?
Любые предложения приветствуются.

На самом деле, я думаю, что S3 Sync - это то, что вам нужно. Может быть, настроить Cron на экземплярах EC2 и таким образом вызвать S3 Sync? Вы тоже используете ECS? У меня есть контейнер Cron, который очень хорошо справляется со своей работой. Для тех, кто читает, кто не знаком с AWS CLI (https://aws.amazon.com/cli/) синтаксис S3 Sync выглядит так:

aws s3 sync /path/to/source/ s3://bucket/destination/
  1. Создайте резервную копию EFS с помощью такого инструмента, как Чердак для создания сжатой инкрементной резервной копии без дублирования на одном экземпляре EC2.
  2. Использовать S3FS или API S3 для загрузки этих файлов в S3. Лично я использую сценарий загрузки Dropbox, который тоже отлично работает.

Обратите внимание, что Attic запускается с любым заданным вами интервалом, но сохраняет только указанные вами контрольные точки. Например, у вас может быть ежедневное резервное копирование, но тогда оно будет храниться только ежемесячно после первого месяца и ежегодно после первого года. Из-за этого он удаляет файлы из хранилища. Если вы не удалите файлы из своего репозитория, это не повредит, но вы будете использовать больше места для хранения, чем требуется. Вот почему синхронизация файлов резервных копий чердака может быть лучше, чем их копия.

Рекомендуется использовать ловушку жизненного цикла AWS. Этот вариант предлагает надежные средства управления (например, тайм-аут и т. Д.). https://docs.aws.amazon.com/autoscaling/ec2/userguide/lifecycle-hooks.html