Назад | Перейти на главную страницу

AWS FSx для блеска с S3 и EMR (с EMRFS) для искровых работ

В настоящее время мы используем EMR для упрощения отправки наших искровых работ. Недавно я наткнулся на решение "FSx lustre + S3", которое рекламируется как идеальное для высокопроизводительных вычислений. EMRFS, однако, также считается оптимизированным для этого конкретного сценария, благодаря чему S3 выглядит как локальная файловая система hadoop.

Поэтому мне интересно, почему кто-то выбрал один из этих двух с точки зрения стоимости и производительности?

Этот вопрос может стать продолжением Расходы на AWS S3, когда он используется AWS EMR но, к сожалению, у меня нет репутации, чтобы оставлять там комментарии.

Заранее спасибо за помощь.

КАК Вы используете EMR для своих вычислительных операций и S3 для хранения ..

FSX при интеграции с s3 обеспечит высокую пропускную способность для ваших заданий из-за высокого IOPS ... Это действительно было бы полезно для ваших сроков выполнения ... Но опять же, это потребовало бы более высоких затрат.

https://www.youtube.com/watch?v=ZADHiZa3Hjo&list=WL&index=21&t=2752s

Выше упомянута одна из лучших ссылок Reinvent