У меня есть кластер Hbase на одном сервере, который я использую только в качестве приемника репликации HBase. Поэтому я не хочу реплицировать какие-либо блоки в этом кластере (поскольку источник имеет реплицированные блоки, я не чувствую, что мне это нужно).
Я хотел бы отключить для этого экземпляра предупреждение о недостаточной репликации блоков. Я пробовал две вещи:
Кто-нибудь знает, как я могу отключить это конкретное предупреждение для кластера?
Выполните эти два шага:
1) Измените коэффициент репликации файловой системы hadoop. Убедитесь, что вы вошли в систему под именем пользователя, у которого возникают проблемы со здоровьем из-за недостаточной репликации блоков:
su - hdfs
hadoop fs -setrep -R 1 /
или
su - oozie
hadoop fs -setrep -R 1 /
и т.д...
2) Измените значение «Предупреждение» и «Критическое значение» для «Пороговые значения для мониторинга недостаточно реплицируемых блоков» из Cloudera Manager. Для CDH 5.0.0 перейдите к:
CM Home> HDFS> Конфигурация> Сервисная система> Мониторинг> Пороговые значения мониторинга блоков с недостаточной репликацией
В CDH 5.0.0 стандартная ссылка:
http://localhost:7180/cmf/services/17/config?groupParent=config.HDFS.service_17&q=%22Under-replicated+Block+Monitoring+Thresholds%22
По моему опыту, проблема с недостаточной репликацией блока была вызвана плохим соединением между узлом данных и узлом имен. У вас может быть один узел данных на том же хосте, что и узел имени, и он сообщает, что hdfs в порядке, но блок не реплицируется, потому что другие узлы не взаимодействуют с узлом имени, поэтому только один узел активен и не реплицируется. Проверьте журналы hdfs на наличие всех узлов данных, чтобы проверить это, прежде чем пытаться скрыть симптом каким-либо другим исправлением.