У нас есть 85 ТБ данных в корзине AWS S3. Как лучше всего переместить его в Azure?
Сейчас я вижу два варианта:
Еще одна трудность заключается в том, что данные представляют собой миллионы небольших файлов (изображений), поэтому будет ли AWS взимать плату за запросы GET и Azure за запросы PUT, если мы выберем соответствующие устройства?
Я бы позвонил в Amazon и Azure, чтобы обсудить новейшие услуги по перемещению этих данных.
Исходя из моего опыта, у вас есть два варианта:
85 ТБ - это не большой объем данных сегодня (85 ПБ было бы), поэтому время передачи данных, вероятно, будет меньше при передаче по сети по сравнению с экспортом из Amazon, копированием данных, а затем импортом в Azure. Учитывая реальный мир, это, вероятно, займет неделю по сети и месяц для экспорта / импорта. При этом не учитывается время на фактическую проверку данных, переданных без ошибок. Этот этап, вероятно, займет еще неделю или две.
Для строго безналичного перевода вы можете использовать такой продукт, как Cloud Berry Labs ’Drive, который позволит вам отображать хранилище S3 и Azure в виде буквенных дисков. Затем вы можете просто копировать между ними. Я считаю, что клиентская версия сделает все, что вам нужно, поскольку вам не нужно предоставлять общий доступ к диску в сети.
Одно замечание об этом программном обеспечении заключается в том, что оно буферизует файлы при передаче, поэтому окна могут показывать, что передача завершена, однако в очереди оно все еще может передаваться, особенно с большими файлами, которые должны выполнять загрузку нескольких частей.