Ambari генерирует оповещение NameNode Blocks Health: Total Blocks:[38252543], Missing Blocks:[2]. Нет дополнительной информации.
Я бегал hdfs fsck / который сообщает о работоспособности всей файловой системы. Я бегал hdfs dfsadmin -report который сообщает, что есть два недостающих блока, но не дает подробностей.
Как мне найти эти недостающие блоки и исправить их?
Сегодня я наблюдал похожий отчет о моей настройке (CentOS 7.3, HDP 2.5.3, Ambari 2.4.2).
Файлы с недостающими блоками мне удалось найти через:
hdfs fsck / | grep -i 'miss'
hdfs fsck / | grep 'miss' | cut -d ":" -f 1
hdfs fsck / | grep 'Under replicated' | cut -d ":" -f 1
и исправляем их:
hdfs dfs -setrep 3 <fileName>
вы можете найти количество поврежденных и отсутствующих блоков с помощью команды ниже
hdfs fsck -list-corruptfileblocks