Я установил 7 экземпляров виртуальных машин серверов Ubuntu 14.04 LTS. Первый экземпляр запускает службу namenode, а все остальные 6 узлов запускают службу datanode. Я думаю, что мой NameNode выходит из строя или блокируется из-за какой-то проблемы. После перезагрузки, если я проверю вывод команды JPS, мой namenode запущен. В core-site.xml для свойства fs.defaultfs установлено значение hdfs: // instance-1: 8020. но в выводе netstat -tulpn порт 8020 отсутствует.
это вывод JPS сразу после перезагрузки.
root@instance-1:~# jps
3017 VersionInfo
2613 NameNode
3371 VersionInfo
3313 ResourceManager
3015 Main
2524 QuorumPeerMain
2877 HeadlampServer
1556 Main
3480 Jps
2517 SecondaryNameNode
3171 JobHistoryServer
2790 EventCatcherService
2842 AlertPublisher
2600 Bootstrap
2909 Main
это результат netstat, который я проверил после jps.
root@instance-1:~# netstat -tulpn
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
tcp 0 0 0.0.0.0:111 0.0.0.0:* LISTEN 600/rpcbind
tcp 0 0 0.0.0.0:9010 0.0.0.0:* LISTEN 2524/java
tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 1164/sshd
tcp 0 0 127.0.0.1:5432 0.0.0.0:* LISTEN 1158/postgres
tcp 0 0 127.0.0.1:19001 0.0.0.0:* LISTEN 1496/python
tcp 0 0 0.0.0.0:42043 0.0.0.0:* LISTEN 2524/java
tcp 0 0 10.240.71.132:9000 0.0.0.0:* LISTEN 1419/python
tcp 0 0 0.0.0.0:7432 0.0.0.0:* LISTEN 1405/postgres
tcp6 0 0 :::111 :::* LISTEN 600/rpcbind
tcp6 0 0 :::22 :::* LISTEN 1164/sshd
tcp6 0 0 :::7432 :::* LISTEN 1405/postgres
udp 0 0 0.0.0.0:68 0.0.0.0:* 684/dhclient
udp 0 0 0.0.0.0:111 0.0.0.0:* 600/rpcbind
udp 0 0 10.240.71.132:123 0.0.0.0:* 3323/ntpd
udp 0 0 127.0.0.1:123 0.0.0.0:* 3323/ntpd
udp 0 0 0.0.0.0:123 0.0.0.0:* 3323/ntpd
udp 0 0 0.0.0.0:721 0.0.0.0:* 600/rpcbind
udp 0 0 0.0.0.0:29611 0.0.0.0:* 684/dhclient
udp6 0 0 :::111 :::* 600/rpcbind
udp6 0 0 :::123 :::* 3323/ntpd
udp6 0 0 :::721 :::* 600/rpcbind
udp6 0 0 :::22577 :::* 684/dhclient
Как я уже сказал, я не вижу порта 8020. Через минуту я проверил вывод JPS, и namenode исчез.
это вывод в формате jps через минуту после перезагрузки.
root@instance-1:~# jps
3794 Main
3313 ResourceManager
3907 EventCatcherService
4325 Jps
2530 RunJar
3082 RunJar
2524 QuorumPeerMain
2656 Bootstrap
2877 HeadlampServer
1556 Main
2517 SecondaryNameNode
3171 JobHistoryServer
2842 AlertPublisher
2600 Bootstrap
Как я уже сказал, namenode там нет. Я повторил описанный выше процесс пару раз, и каждый раз получаю тот же порт результатов 8020, которого нет, а namenode вылетает. Я думаю, это проблема брандмауэра, как вы думаете?
Заранее спасибо.
Вы должны проверить журнал демона NameNode под $ HADOOP_HOME / журналы каталог сначала.
В качестве мотивации
Во время запуска NameNode должен выполнить определенные действия, прежде чем он сможет обслуживать клиентские запросы:
- Прочтите метаданные файловой системы из файла fsimage.
- Прочтите журналы редактирования и примените зарегистрированные операции к метаданным файловой системы.
- Напишите новую контрольную точку.
- Оставайтесь в безопасном режиме, пока узлы данных не сообщат о достаточном количестве блоков.