Я хочу сделать резервную копию файлового сервера Linux с 1,4 ТБ данных на AWS S3 Standard - IA. Некоторые файлы большие, более 100 МБ, и я читал, что следует использовать multipart. Как я могу сделать это в командной строке, чтобы она выполняла синхронизацию, но автоматически обрабатывала большие файлы?
Например, я хочу рекурсивно сделать резервную копию всех / home и / root.
В инструмент aws-cli имеет два набора команд S3: s3api
для прямого вызова определенных API (например, aws s3api put-object
) и s3
для абстракций на уровне пользователя (например, aws s3 cp
или aws s3 sync
).
Последний набор будет использовать многокомпонентную загрузку S3 автоматически для файлов размером более 8 МБ, у него даже есть multipart_threshold
параметр конфигурации для настройки поведения.
Полагаю, вы читали это руководство: https://docs.aws.amazon.com/AmazonS3/latest/dev/mpuoverview.html