В настоящее время мы используем EMR для упрощения отправки наших искровых работ. Недавно я наткнулся на решение "FSx lustre + S3", которое рекламируется как идеальное для высокопроизводительных вычислений. EMRFS, однако, также считается оптимизированным для этого конкретного сценария, благодаря чему S3 выглядит как локальная файловая система hadoop.
Поэтому мне интересно, почему кто-то выбрал один из этих двух с точки зрения стоимости и производительности?
Этот вопрос может стать продолжением Расходы на AWS S3, когда он используется AWS EMR но, к сожалению, у меня нет репутации, чтобы оставлять там комментарии.
Заранее спасибо за помощь.
КАК Вы используете EMR для своих вычислительных операций и S3 для хранения ..
FSX при интеграции с s3 обеспечит высокую пропускную способность для ваших заданий из-за высокого IOPS ... Это действительно было бы полезно для ваших сроков выполнения ... Но опять же, это потребовало бы более высоких затрат.
https://www.youtube.com/watch?v=ZADHiZa3Hjo&list=WL&index=21&t=2752s
Выше упомянута одна из лучших ссылок Reinvent