Назад | Перейти на главную страницу

Изменить класс хранилища Amazon S3 для МНОГО файлов

Мы используем Amazon S3, и большая часть наших файлов имеет класс хранения СТАНДАРТ. Мы хотим изменить его на класс REDUCED_REDUNDANCY, чтобы сэкономить дополнительные деньги.

Тем не менее, было трудно найти способ сделать это, чтобы запустить его не более недели. Выполнение этого из веб-консоли AWS было чрезвычайно медленным, и более ранние тесты с Bucket Explorer также оказались очень медленными.

Может быть, просто нет быстрого способа сделать это, но более ранние результаты показали, что s3cmd был довольно быстрым. Просто он, похоже, не может изменить класс хранилища (если вы не загрузите / не скопируете файл).

Кто-нибудь знает, как это сделать быстро?

Проблема, с которой вы столкнулись, заключается в том, что задержка каждого отдельного запроса велика. Решение этой проблемы в AWS - это высокая степень распараллеливания запросов вместо того, чтобы выполнять запросы полностью последовательно.

AWS / S3 настроен для параллельной обработки сотен и тысяч запросов без снижения производительности. Это, вероятно, потребует от вас немного программирования с использованием API, или вы можете получить некоторое преимущество (двойное, тройное, ...) с существующим удобным пользовательским интерфейсом, выполняя запрос несколько раз в разных окнах для разных сегментов S3. объекты.