Я сейчас смотрю на duply и duplicity, чтобы отразить одно ведро на другое, но похоже, что я могу столкнуться с кирпичной стеной?
До сих пор я мог заставить вещи работать с резервным копированием локальных каталогов в корзину S3, эта часть отлично работает. Моя настоящая проблема заключается в том, что я пытаюсь создать резервную копию корзины S3, по сути, зеркалируя две корзины.
Когда я пытаюсь запустить инструмент duply, я получаю следующий результат:
sudo duply test backup
Start duply v1.5.10, time is 2014-07-01 11:49:48.
Using profile '/home/user/.duply/test'.
Using installed duplicity version 0.6.23, python 2.7.6, gpg 1.4.16 (Home: ~/.gnupg), awk 'GNU Awk 4.0.1', bash '4.3.11(1)-release (i686-pc-linux-gnu)'.
Signing disabled. Not GPG_KEY entries in config.
Test - Encryption with passphrase (OK)
Test - Decryption with passphrase (OK)
Test - Compare (OK)
Cleanup - Delete '/tmp/duply.17999.1404233388_*'(OK)
--- Start running command PRE at 11:49:49.054 ---
Skipping n/a script '/home/jmreicha/.duply/test/pre'.
--- Finished state OK at 11:49:49.077 - Runtime 00:00:00.022 ---
--- Start running command BKP at 11:49:49.098 ---
Command line error: Two URLs specified. One argument should be a path.
Enter 'duplicity --help' for help screen.
11:49:49.256 Task 'BKP' failed with exit code '2'.
--- Finished state FAILED 'code 2' at 11:49:49.256 - Runtime 00:00:00.157 ---
--- Start running command POST at 11:49:49.285 ---
Skipping n/a script '/home/jmreicha/.duply/test/post'.
--- Finished state OK at 11:49:49.308 - Runtime 00:00:00.022 ---
Как видите, duply / duplicity ожидает локальный путь к файлу в качестве источника. Я могу создать конфигурации, если это поможет в диагностике проблемы.
Есть ли способ получить дублирование / дублирование для запуска резервного копирования снова одной корзины S3 в качестве источника для другой цели S3? Если не, какие инструменты способны синхронизировать два ведра S3?
Если кто-нибудь столкнется с этой проблемой, я нашел обходной путь.
Во-первых, если вы работаете в Windows и вам нужно скопировать одно ведро в другое, вы можете использовать s3cmd Экспресс. Я поговорил с одним из разработчиков s3cmd, и он упомянул, что есть проблемы с версией s3cmd для Linux / OSX для огромных сегментов, поэтому он посоветовал мне использовать Express, если это вообще возможно.
К сожалению, у меня есть только Linux, поэтому я в конечном итоге использовал aws cli. Это очень похоже на s3cmd, поскольку оба они полагаются на библиотеку Boto Python. Команда для синхронизации ведра:
aws s3 sync s3://mybucket s3://backup-mybucket
Вы можете добавить --dryrun flag, чтобы сначала протестировать вашу команду, чтобы убедиться, что она делает то, что вы хотите.