У меня есть общий кластер с Hadoop-0.20.2. Иногда пользователи не понимают, что выбранные по умолчанию настройки памяти основаны на объеме доступной памяти. Могу ли я установить максимальное значение для Xmx?
В hadoop-env.sh есть опция конфигурации для этого:
# The maximum amount of heap to use, in MB. Default is 1000.
export HADOOP_HEAPSIZE=1500
Этот файл существует в namenode, а также на всех картах / редукторах