У меня есть 3,5 ТБ данных (резервные копии файлов) в AWS Glacier. Я хотел бы, чтобы AWS отправил мне извлекающий диск / устройство с этими данными, потому что я не думаю, что загрузка будет успешно завершена. Я попытался сделать это с помощью Snowball, но не смог, потому что Snowball позволял мне выбирать только ведра S3.
Есть ли способ выбрать архив Glacier с помощью Snowball, есть ли другой сервис для извлечения диска AWS, который я должен использовать, или есть другой процесс, который обычно используется в этой ситуации, например, клиент, который может надежно загрузить архив Glacier в течение нескольких дней?
Вы не можете экспортировать данные напрямую из Glacier на диск.
Класс хранения ледников S3
Если ваши данные были в S3, перемещены в класс хранилища Glacier, вы инициируете запрос извлечения из Glacier в S3. Затем вы используете Импорт Экспорт или Снежный шар экспортировать на диск.
Когда он находится в S3, вы можете использовать любой из доступных инструментов S3 для загрузки файлов. Если у вас есть подключение к Интернету со скоростью 100 Мбит / с и вы можете управлять скоростью 80 Мбит / с, это примерно 4,5 дня, что, вероятно, быстрее, чем снежный ком. Вы можете потенциально использовать Ускорение передачи S3 если ваш регион S3 находится далеко от вашего местоположения, но он дороже стандартного S3.
Получение прямо с ледника
Я не могу найти простого способа получить данные с Glacier на диск, не загружая их вручную. В документации Glacier говорится, что вы инициируете запрос на извлечение, когда он завершается, у вас есть как минимум 24 часа для его загрузки.
Единственный способ передать данные в Snowball - это
Это может означать оплату двойной платы за пропускную способность. Вы также можете использовать новый файловый шлюз S3 Storage Gateway, но вам придется его настроить. Вы также можете использовать EFS, но это дорого. Наконец, можно было бы сопоставить S3 как жесткий диск, используя что-то вроде s3fs, но у меня нет опыта в этом.
Если загрузка с Glacier по какой-либо причине не удалась, вам придется начать ее заново. Для одного большого архива 3,5 ТБ это может быть проблемой. Получение диапазона может помочь, но если это один большой файл, вам придется сшить его вместе.
Я предполагаю, что загрузка из Glacier в EC2 будет намного быстрее и надежнее, чем напрямую на ваш компьютер.
Рекомендация
Трудно дать одну рекомендацию без дополнительной информации, особенно в отношении скорости соединения, надежности и того, является ли загрузка Glacier одним файлом или несколькими.
Чтобы получить файлы быстро, вам, вероятно, лучше всего просто загрузить их с Glacier, в идеале с извлечением диапазона.
На всякий случай загрузите в EC2, загрузите в S3, затем загрузите с S3. S3 поддерживает параллельные загрузки, поэтому он должен использовать всю доступную пропускную способность.
Стоимость извлечения была упрощена по сравнению с предыдущей моделью. Это от 0,01 до 0,0025 доллара за ГБ плюс плата за передачу данных.