Назад | Перейти на главную страницу

Есть ли способ передавать данные S3 между локациями AWS без взимания платы?

Нам нужно перевезти наши ведра из Сан-Паулу на восток США, чтобы мы могли использовать ледник.

В каждой из этих корзин больше 4 ТБ. Мы переместили первый с помощью API AWS, используя экземпляр на востоке США для отправки этих запросов, и он стоил более 800 долларов.

Знаете ли вы какие-либо другие формы передачи данных без этих затрат?

Невозможно полностью избежать затрат, потому что любая форма «исходящей» передачи данных требует затрат.

Услуги импорта / экспорта «дисковых» пока недоступны в вашем регионе, в противном случае вы могли бы использовать физический внешний жесткий диск, отправить его в Amazon, они загружают ваши данные с S3 на диск, отправляют их вам, вы отправляете обратно на их в другом месте, откуда они затем будут передавать данные с диска на S3. Служба импорта / экспорта «снежный ком» также была бы полезна, но она еще не поддерживает экспорт - только импорт.

Ваши данные сжаты? Сжатие данных может значительно сократить объем фактической передачи, которая должна произойти. Такие программы, как xz (одноядерный) и pixz (многоядерный / параллельный) и zpaq часто может уменьшить размер данных до менее чем 1/10 исходного размера или более. Вы можете сохранить его в сжатом виде, передать в сжатом виде, а затем либо распаковать после передачи, либо оставить сжатым, чтобы сэкономить на долгосрочном хранении. Как правило, чем меньше размер файлов, которые требуется алгоритму сжатия, тем больше времени требуется на сжатие, но точечные экземпляры - это хороший способ использовать дешевую вычислительную мощность для обработки больших заданий сжатия.

Другая возможность, по-видимому, доступна при перенаправлении вашего контента через CloudFront. (Скептики: выслушайте меня ...) Плата за передачу данных из Сан-Паулу в другой регион AWS составляет 0,160 доллара за гигабайт, но стоимость от S3 до CloudFront указана как 0,00 доллара. Стоимость трансфера вне CloudFront в США - 0,085 доллара за ГБ. Если вы создали инстанс EC2 в восточной части США-1 (Вирджиния), а затем получили доступ к CloudFront оттуда, запрос должен быть направлен в CloudFront в США, а если ваш дистрибутив CloudFront подготовлен для самого низкого уровня затрат, запросы должны всегда обслуживаться. из США. Трафик с EC2 на S3 в пределах us-east-1 не подлежит оплате за гигабайтную полосу пропускания. Вы не сможете использовать встроенные механизмы копирования S3, но вы должен при таком подходе вы сможете сократить свои транспортные расходы почти вдвое, если напишете необходимый вспомогательный код, чтобы это работало.

Предостережение: я не тестировал это, чтобы убедиться, что указанные цены действительно влияют на выставление счетов ожидаемым образом - я работаю только на основе своей интерпретации таблиц цен - но это, похоже, одно из немногих мест, где есть небольшая возможность для «арбитража» цен на передачу данных в AWS. Он основан на концепции отсутствия «региональных» различий в отношении исходящих данных, от S3 до CloudFront.