мы хотим найти значения для следующих параметров искры в соответствии с входными данными, такими как память на машине узла данных, ЯДРО ЦП на машине узла данных, номера машины узла данных и т. д.,
spark.dynamicAllocation.initialExecutors = ?
spark.dynamicAllocation.minExecutors = ?
spark.dynamicAllocation.maxExecutors = ?
Я думаю, мы не можем дать точные значения, поэтому это поможет найти диапазон для этих параметров.
например
у нас есть кластер амбари с
3 мастер-машины
21 рабочая машина (каждая рабочая машина имеет 32 ГБ памяти и 16 ЯДРА ЦП)
3 машины кафки
пожалуйста, помогите мне рассчитать значения для параметров (я буду рад получить тогда диапазон значений для каждого параметра, поскольку я знаю, что мы никогда не закрываем значение точно)
Я просто высказываю здесь свое мнение (на основе сайта - https://community.microstrategy.com/s/article/Best-Practices-for-Spark-Thrift-Server-on-YARN
мы можем установить оба параметра на 21 (как количество рабочих машин) ?? , Это нормально?
spark.dynamicAllocation.initialExecutors = 21
spark.dynamicAllocation.minExecutors = 21
spark.dynamicAllocation.maxExecutors = 21