Я хочу настроить кластер с использованием hadoop в режиме пряжи. Я хочу использовать Spark API для map-reduce и буду использовать Spark submit для развертывания своих приложений. Я хочу работать с кластером. Кто-нибудь может мне помочь, как установить HADOOP. в кластере с использованием окон
как установить hadoop2.4.1
Это сам по себе отдельный, более широкий вопрос. Прочтите Документация по установке Hadoop Cluster.
Я бы рекомендовал получить один узел, затем псевдораспределенный, а затем вы можете настроить кластер.
Со Spark 2.0.0
Перейдите на страницу загрузки Spark, выберите вариант «предоставленный пользователем Hadoop».
По большей части Spark будет работать с минимальным редактированием. Необходимо настроить Hadoop.
Гарантировать, что
HADOOP_CONF_DIRилиYARN_CONF_DIRуказывает на каталог, содержащий файлы конфигурации (на стороне клиента) для кластера Hadoop.
Вы можете редактировать spark-env.sh и spark-defaults.conf если нужно.
Если у вас возникла конкретная проблема, отредактируйте свой вопрос
Или вы можете настроить сервер Ambari, и он все настроит и установит для вас, разместив управление ключами SSH.