Я должен выполнить rsync (не только копировать или перемещать) из всех моих ведер с s3 в облако Google. Мне нужно создать такую же инфраструктуру s3 для Google. У меня вроде 2Tera в s3, и все дни получаю новые файлы ..
Мое решение сегодня
gsutil rsync -r -m s3: // корзина gs: // корзина
Но это решение медленнее.
У вас есть идея поскорее?
Спасибо.
Если вы синхронизируете большой объем данных между облаками, вы можете подумать о настройке учетной записи Google Compute Engine и запустить там gsutil. Поскольку передача данных gsutil между поставщиками осуществляется через компьютер, на котором запущен gsutil, передача данных может выполняться значительно быстрее, чем при использовании gsutil на локальной рабочей станции.
Ссылка: https://cloud.google.com/storage/docs/gsutil/commands/rsync
Актуальный ответ на этот вопрос - использовать Сервис Google Transfer:
Что такое служба передачи хранилища?
Storage Transfer Service передает данные из онлайн-источника данных в приемник данных. Источником данных может быть корзина Amazon Simple Storage Service (Amazon S3), местоположение HTTP / HTTPS или корзина облачного хранилища. Ваш приемник данных (место назначения) всегда является корзиной Cloud Storage.