Я пытаюсь найти инструмент, который показал бы мне обзор моей экосистемы Hadoop - состояние, работоспособность, выполняемые задачи и т. Д. Я пытался в Google, но не нашел. Есть какой-нибудь хороший полезный инструмент?
Выполняемые задачи, состояние / работоспособность сопоставленного узла:
http://example.com:50030/jobtracker.jsp
Состояние HDFS и состояние узла:
http://example.com:50070/dfshealth.jsp
Замените example.com IP-адресом или именем хоста вашего узла отслеживания вакансий / имени.
Если эти порты неверны, проверьте свои mapred-site.xml и hdfs-site.xml на предмет определенного порта.
Cloudera предлагает запатентованный инструмент, который делает то, что вы описываете и даже называете Cloudera Manager. Это не F / OSS, но у них есть бесплатная версия, которая позволяет вам работать на ограниченном количестве узлов. Он задуман как продукт полного жизненного цикла, поэтому он может оказаться излишним для того, что вам нужно.
Полное раскрытие: я никогда не использовал его сам. Мы рассматривали это в моей компании, но в итоге не использовали.
Другой альтернативой является Амбари проект. В настоящее время он находится в инкубационном статусе Apache, но я считаю Hortonworks является одним из основных драйверов для этого. Это в первую очередь фреймворк для обеспечения и мониторинга. Ты можешь видеть Примеры на сайте Hortonworks. Они сделали сообщение в блоге, описывающее как это настроить.
Если вы ищете более "красивый" интерфейс для отслеживания вакансий или namenode, Cloudera имеет Пользовательская среда Hadoop (HUE), который обеспечивает некоторые из необходимых вам функций. Однако по большей части он ориентирован на пользователей, не являющихся администраторами.