Назад | Перейти на главную страницу

spark.dynamicAllocation + установка параметров искры в соответствии с кластером амбари

мы хотим найти значения для следующих параметров искры в соответствии с входными данными, такими как память на машине узла данных, ЯДРО ЦП на машине узла данных, номера машины узла данных и т. д.,

spark.dynamicAllocation.initialExecutors = ?
spark.dynamicAllocation.minExecutors = ?
spark.dynamicAllocation.maxExecutors = ?

Я думаю, мы не можем дать точные значения, поэтому это поможет найти диапазон для этих параметров.

например

у нас есть кластер амбари с

3 мастер-машины

21 рабочая машина (каждая рабочая машина имеет 32 ГБ памяти и 16 ЯДРА ЦП)

3 машины кафки

пожалуйста, помогите мне рассчитать значения для параметров (я буду рад получить тогда диапазон значений для каждого параметра, поскольку я знаю, что мы никогда не закрываем значение точно)

Я просто высказываю здесь свое мнение (на основе сайта - https://community.microstrategy.com/s/article/Best-Practices-for-Spark-Thrift-Server-on-YARN

мы можем установить оба параметра на 21 (как количество рабочих машин) ?? , Это нормально?

spark.dynamicAllocation.initialExecutors = 21
spark.dynamicAllocation.minExecutors = 21
spark.dynamicAllocation.maxExecutors = 21