Назад | Перейти на главную страницу

Каков идеальный тип экземпляра для имени узла hadoop?

Для относительно небольшого кластера в один терабайт (фактически 2 ТБ после репликации) я пытался определить, каким будет идеальный размер памяти / процессора namenode. слишком сумасшедший ... но поиск в Google минимальных требований к hadoop не дал никаких определенных ответов или даже рекомендаций по настройке сервера.

Это будет больше зависеть от того, сколько файлов у вас в HDFS. Практическое правило состоит в том, что самому процессу namenode требуется около 1 ГБ памяти на один миллион объектов (файлов, каталогов, блоков), содержащихся в DFS. Потребности в процессоре должны быть минимальными.

https://twiki.grid.iu.edu/bin/view/Storage/HadoopUnderstanding имеет приличный обзор некоторых из этих вещей, которые следует принять во внимание.