Я ищу решение для улучшения производительности кластера Spark, я читал http://spark.apache.org/docs/latest/hardware-provisioning.html:
Мы рекомендуем иметь 4-8 дисков на узел.
, Я пробовал как с одним, так и с двумя дисками, но заметил, что с двумя дисками время выполнения удваивается. Какие-нибудь объяснения по этому поводу?
Это моя конфигурация: 1 машина с ОЗУ 140 ГБ, 2 диска и 32 процессора (я знаю, что это необычная конфигурация), и на ней у меня есть автономный кластер Spark с 1 рабочим.