Назад | Перейти на главную страницу

Rsync в сегменте AWS S3

Для сервера, на котором я размещаю веб-сайт, я хочу сделать резервную копию данных и настроек в корзине S3. Я обнаружил, что вы не можете напрямую использовать rsync для резервного копирования в корзину S3. Есть ли другой способ выполнить следующую команду rsync для резервного копирования данных в корзину S3?

rsync -­av ­/Data /s3bucket

Я также хочу сделать резервную копию базы данных mysql на этом сервере в корзину S3. Как лучше всего этого добиться?

Последний вопрос, удалось ли мне сделать резервную копию всего на S3. Как лучше всего восстановить сервер, если он разбился или, в худшем случае, полностью стерли данные? Должен ли я сам записывать настройки сервера и перенастраивать сервер или есть способ сделать резервную копию?

Для связи с s3 вам нужно иметь 2 вещи

  1. Учетные данные пользователя IAM, у которого есть доступ на чтение и запись к корзине s3.
  2. Такой клиент, как aws-cli для bash, библиотека boto для python и т. Д.

как только у вас есть и то, и другое, вы можете перенести любой файл со своего компьютера на s3 и с s3 на свою машину. Ниже приведен пример для aws-cli.

  1. синхронизировать все файлы в папке

    aws s3 sync source_folder s3://your_bucket_name/destination_folder/

  2. скопировать один файл в s3

    aws s3 cp source_file s3://your_bucket_name/destination_folder/

просто замените источник и место назначения в команде, чтобы загрузить любой файл из s3.

для получения дополнительной информации следуйте документы aws

Можешь попробовать rclone.

Настроить (документы):

rclone config

Синхронизация (документы):

rclone sync /my/local/folder s3service:bucket-name

aws-cli отлично подходит для синхронизации с S3, если вас не интересуют разрешения.

Имейте в виду, что он не хранит информацию о разрешениях или другие метаданные, которые могут иметь файлы.

Это плохой совет в документации, и при восстановлении вас ждут сюрпризы.

Может быть, синхронизировать вашу коллекцию музыки или фотографий не так важно, но это очень важно, если вы используете ее для резервного копирования вашей системы.

Есть еще одна программа, s3cmd, которая хранит эти данные и может выполнять аналогичную работу. Это медленнее. Но я не пробовал.

Мне сказали, что проблема в том, что вы можете сохранить высокие затраты, поскольку в S3 вы платите не только за сэкономленные мегабайты, но и за запросы, а rsync делает их много.