Я построил кластер Hadoop, установив большинство пакетов вручную (используя двоичные файлы или исходный код). Я решил не использовать специальный дистрибутив, такой как Cloudera, MapR или Hortonworks, так как мне нужна была гибкость, связанная с выбором, какие пакеты и версии использовать.
Однако в большинстве этих дистрибутивов есть отличные инструменты для администрирования и мониторинга, которые упростят жизнь нашим разработчикам. Существуют ли какие-либо такие инструменты, не содержащие дистрибутивов? Меня не волнует, бесплатные они или лицензионные, просто они будут работать с специально построенным кластером. Спасибо.
Их довольно много. Посетите exchange.nagios.org, и вы найдете множество плагинов для мониторинга hdfs, средств отслеживания задач, узлов имен и многого другого.
См. Этот ppt для построения графика использования ресурсов с использованием проверок cacti и nagios - http://files.meetup.com/1228907/How%20to%20monitor%20the.ppt