В настоящее время нам необходимо перенести сегмент размером около 1 ТБ, но он содержит множество файлов, разбитых на множество уровней подкаталогов. Если я правильно понимаю расценки, перемещение данных между сегментами в одном регионе должно быть бесплатным в соответствии со следующим:
«Передача между корзинами S3 или из S3 в любую службу (службы) в одном регионе осуществляется бесплатно».
Если посмотреть на документацию AWS, то можно увидеть, как рекомендуется использовать aws s3 cli для синхронизации файлов.
В этом случае я бы побежал aws s3 sync s3://oldbucket s3://newbucket. На экземпляре ec2, работающем в том же регионе, что и сегменты. Но разве я все равно не буду платить за запросы GET / PUT?
Стоимость хранилища в этом случае не является проблемой, меня беспокоит огромное количество небольших файлов, которые вызовут огромную стоимость запросов.
Если бы кто-нибудь мог лучше понять это, я был бы очень рад.
Я считаю ценообразование AWS очень сложным. Как вы говорите: «Передача между корзинами S3 или из S3 в любые службы в одном регионе бесплатна». как указано здесь на странице цен на AWS: https://aws.amazon.com/s3/pricing/
Однако в простом ежемесячном калькуляторе в разделе S3 предполагается, что есть небольшая плата за действия копирования, а также за операции Get и Put. http://calculator.s3.amazonaws.com/index.html
Попробуйте использовать калькулятор, чтобы получить ориентировочную стоимость операций копирования.
Используйте инстанс EC2 в том же регионе, а не локальную машину, чтобы избежать исходящих расходов и, вероятно, снизить скорость передачи