Я следовал инструкциям Вот для установки hadoop в псевдораспределенном режиме.
Однако у меня проблемы с подключением к HDFS.
Когда я выполняю эту команду:
./hadoop fs -ls /
Я получаю список каталогов, как и должен.
Однако когда я выполняю эту команду:
./hadoop fs -ls hdfs://localhost/
Я получаю это:
12/08/23 15:29:58 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8020. Already tried 0 time(s).
12/08/23 15:29:59 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8020. Already tried 1 time(s).
12/08/23 15:30:00 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8020. Already tried 2 time(s).
12/08/23 15:30:01 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8020. Already tried 3 time(s).
12/08/23 15:30:02 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8020. Already tried 4 time(s).
12/08/23 15:30:03 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8020. Already tried 5 time(s).
12/08/23 15:30:04 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8020. Already tried 6 time(s).
12/08/23 15:30:05 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8020. Already tried 7 time(s).
12/08/23 15:30:06 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8020. Already tried 8 time(s).
12/08/23 15:30:07 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8020. Already tried 9 time(s).
ls: Call to localhost/127.0.0.1:8020 failed on connection exception: java.net.ConnectException: Connection refused
Если я просматриваю здесь:
http://localhost:50070/dfshealth.jsp
Я получаю страницу состояния системы NameNode, как и должен. Однако, если я перейду по ссылке «Обзор файловой системы», которая, как мне кажется, идет сюда:
http://localhost:50070/nn_browsedfscontent.jsp
Я получаю 404-ю страницу от Jetty.
Не знаю, связаны ли эти две вещи, но это определенно блокирует меня. Я пытаюсь настроить hbase в псевдораспределенном режиме, как указано Вот, но я не могу, потому что hbase не может подключиться к hdfs через порт 8020.
ИНФОРМАЦИЯ
Я использую hadoop .20 и hbase .90.6 на CENTOS 6.2.
Hadoop и hbase запускаются при загрузке из написанных мной сценариев init.d.
Hadoop работает под пользователем hadoop и находится в / opt / hadoop. В сценарии hadoop init.d я выполняю start-all.sh с помощью команды daemon.
HBase работает под root и находится в / opt / hbase. В сценарии hbase init.d я выполняю сценарий start-hbase.sh. В настоящее время я использую HBase в автономном режиме.
Похоже, я по ошибке установил fs.default.name равным 9000. Поменял его на 8020, теперь все работает нормально. Спасибо mgorven за помощь!