Хорошо, поэтому я настраиваю внешнее резервное копирование своих данных S3 и настроил межрегиональную репликацию в новую корзину в другом регионе. Однако у меня есть много данных в исходном ведре, которые также необходимо переместить,> 100 ТБ в> 20 миллионов файлов. Первой моей мыслью было просто бежать:
aws s3 sync s3://source-bucket s3://destination-bucket
на экземпляре EC2. Но это займет намного больше времени, чем я ожидал, и со всеми запросами PUT / LIST, которые он делает, стоит больше, чем я ожидал.
Читая документацию AWS, похоже, что они рекомендуют AWS Snowball для такого рода операций. Из часто задаваемых вопросов:
Как показывает опыт, если загрузка данных в AWS с использованием свободных ресурсов существующего интернет-соединения занимает более одной недели, вам следует рассмотреть возможность использования Snowball.
Однако похоже, что они предназначены либо для импорта, либо для экспорта, а не для обоих сразу. Придется ли мне выполнять две разные работы с одним и тем же снежком? Разве мне все равно не будет взиматься плата за все запросы PUT / LIST, чтобы получить данные в виде снежного кома? Они упоминают 0,03 доллара США за гигабайт за передачу данных, но не упоминают запросы API.
Если вы копируете данные, которые уже находятся в AWS, в другой регион, Snowball не кажется хорошим вариантом. Запуск синхронизации из командной строки экземпляра EC2 в AWS кажется правильным.
Вы пробовали настраивать max_concurrent_requests? Возможно, это решит проблему производительности. Также, Эта статья есть больше предложений для вашей ситуации.
Если у вас много объектов в корзине S3 (более 10 миллионов объектов), рассмотрите возможность использования отчетов Amazon S3 Inventory и метрик Amazon CloudWatch. Эти отчеты могут помочь оптимизировать стоимость и производительность проверки скопированных объектов. Вы также можете разделить команды синхронизации для разных префиксов, чтобы оптимизировать производительность вашего сегмента S3. Дополнительные сведения об оптимизации производительности рабочей нагрузки см. В разделе «Частота запросов и рекомендации по производительности».