Как лучше всего загрузить файлы tar.gz объемом 200 ГБ на S3 в Linux? В ходе исследования я обнаружил, что ограничение S3 на объекты было увеличено до 5 ТБ, и я узнал о механизме многокомпонентной загрузки для ускорения загрузки. Я нашел Boto скрипта Python, который может помочь в этом. Может ли кто-нибудь пролить свет на эту тему?
Не загружайте это. Опубликуйте это. http://aws.amazon.com/importexport/
Amazon предлагает услугу, при которой вы отправляете им переносные носители, а они загружают данные для вас по своей быстрой магистрали.
Если вы действительно одержимы этим самостоятельно, возьмите копию S3cmd и делай s3cmd sync.
«Никогда не недооценивайте пропускную способность универсала, полного кассет, мчащегося по шоссе». - Эндрю С. Таненбаум
Изменить: если вы действительно хотите иметь возможность фрагментировать загрузку файла, я предлагаю вам сделать следующее.
Спасибо за ваш ответ и варианты, Том. Мне удалось добиться загрузки 20 ГБ в s3 с помощью многопользовательской загрузки. Для загрузки мне потребовался python 2.5> + библиотека boto + s3_mulitpart python script. Мои ссылки где
Надеюсь, это будет полезно.
Прем
Разделите файлы tar.gz на более мелкие части и отслеживайте их локальные и удаленные суммы MD5. Затем вы можете просто повторно загрузить меньшую часть, если что-то пойдет не так.