Назад | Перейти на главную страницу

Порт Hadoop namenode блокируется

Я установил 7 экземпляров виртуальных машин серверов Ubuntu 14.04 LTS. Первый экземпляр запускает службу namenode, а все остальные 6 узлов запускают службу datanode. Я думаю, что мой NameNode выходит из строя или блокируется из-за какой-то проблемы. После перезагрузки, если я проверю вывод команды JPS, мой namenode запущен. В core-site.xml для свойства fs.defaultfs установлено значение hdfs: // instance-1: 8020. но в выводе netstat -tulpn порт 8020 отсутствует.

это вывод JPS сразу после перезагрузки.

root@instance-1:~# jps
3017 VersionInfo
2613 NameNode
3371 VersionInfo
3313 ResourceManager
3015 Main
2524 QuorumPeerMain
2877 HeadlampServer
1556 Main
3480 Jps
2517 SecondaryNameNode
3171 JobHistoryServer
2790 EventCatcherService
2842 AlertPublisher
2600 Bootstrap
2909 Main

это результат netstat, который я проверил после jps.

root@instance-1:~# netstat -tulpn
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name
tcp        0      0 0.0.0.0:111             0.0.0.0:*               LISTEN      600/rpcbind     
tcp        0      0 0.0.0.0:9010            0.0.0.0:*               LISTEN      2524/java       
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      1164/sshd       
tcp        0      0 127.0.0.1:5432          0.0.0.0:*               LISTEN      1158/postgres   
tcp        0      0 127.0.0.1:19001         0.0.0.0:*               LISTEN      1496/python     
tcp        0      0 0.0.0.0:42043           0.0.0.0:*               LISTEN      2524/java       
tcp        0      0 10.240.71.132:9000      0.0.0.0:*               LISTEN      1419/python     
tcp        0      0 0.0.0.0:7432            0.0.0.0:*               LISTEN      1405/postgres   
tcp6       0      0 :::111                  :::*                    LISTEN      600/rpcbind     
tcp6       0      0 :::22                   :::*                    LISTEN      1164/sshd       
tcp6       0      0 :::7432                 :::*                    LISTEN      1405/postgres   
udp        0      0 0.0.0.0:68              0.0.0.0:*                           684/dhclient    
udp        0      0 0.0.0.0:111             0.0.0.0:*                           600/rpcbind     
udp        0      0 10.240.71.132:123       0.0.0.0:*                           3323/ntpd       
udp        0      0 127.0.0.1:123           0.0.0.0:*                           3323/ntpd       
udp        0      0 0.0.0.0:123             0.0.0.0:*                           3323/ntpd       
udp        0      0 0.0.0.0:721             0.0.0.0:*                           600/rpcbind     
udp        0      0 0.0.0.0:29611           0.0.0.0:*                           684/dhclient    
udp6       0      0 :::111                  :::*                                600/rpcbind     
udp6       0      0 :::123                  :::*                                3323/ntpd       
udp6       0      0 :::721                  :::*                                600/rpcbind     
udp6       0      0 :::22577                :::*                                684/dhclient  

Как я уже сказал, я не вижу порта 8020. Через минуту я проверил вывод JPS, и namenode исчез.

это вывод в формате jps через минуту после перезагрузки.

root@instance-1:~# jps
3794 Main
3313 ResourceManager
3907 EventCatcherService
4325 Jps
2530 RunJar
3082 RunJar
2524 QuorumPeerMain
2656 Bootstrap
2877 HeadlampServer
1556 Main
2517 SecondaryNameNode
3171 JobHistoryServer
2842 AlertPublisher
2600 Bootstrap

Как я уже сказал, namenode там нет. Я повторил описанный выше процесс пару раз, и каждый раз получаю тот же порт результатов 8020, которого нет, а namenode вылетает. Я думаю, это проблема брандмауэра, как вы думаете?

Заранее спасибо.

Вы должны проверить журнал демона NameNode под $ HADOOP_HOME / журналы каталог сначала.

В качестве мотивации

Во время запуска NameNode должен выполнить определенные действия, прежде чем он сможет обслуживать клиентские запросы:

  1. Прочтите метаданные файловой системы из файла fsimage.
  2. Прочтите журналы редактирования и примените зарегистрированные операции к метаданным файловой системы.
  3. Напишите новую контрольную точку.
  4. Оставайтесь в безопасном режиме, пока узлы данных не сообщат о достаточном количестве блоков.