hdfs – список вопросов по тегу – страница №7

В настоящее время мы используем EMR для упрощения отправки наших искровых работ. Недавно я наткнулся на решение "FSx lustre + S3", которое рекламируется как идеальное для...

У нас есть кластер HDP версии 2.6.5 с машинами узлов данных (HDFS) hdfs version...

мы используем следующий кластер HDP с амбари, список узлов и их версия RHEL 3 masters machines ( with namenode & resource manager ) , installed on RHEL 7.2...

Я хочу задать этот важный вопрос допустим, у нас есть следующее: Кластер HDP с: 3 ведущая машина (активный / резервный узел имени), (активный / резервный менеджер ресурсов) 3...

У меня есть небольшой (тестовый) кластер HDFS, который я использую как место для резервных копий моментальных снимков для Flink. Flink создает и удаляет примерно 1000...

Я работаю над проектом обработки потока данных, в котором я буду использовать Apache Flink и Apache Spark, и я хочу использовать HDFS для хранения. Разработка и тестирование...

у нас есть версия Hadoop - 2.6.4 На машине datanode мы видим, что данные hdfs не сбалансированы На некоторых дисках используется другой размер sdb. 11G и SDD 17G /dev/sdd 20G...

Важно ли, чтобы диски (рабочих) компьютеров с датанодом были одинакового размера? например у нас есть кластер амбари с 3 рабочими машинами (машины датанода) каждая машина...

Иметь кластер из 35 узлов с большим количеством блоков в нем: ≈450K блоков на узел данных. После изменения конфигурации (которое включало переназначение стоек и увеличение...

Я хочу настроить кластер с использованием hadoop в режиме пряжи. Я хочу использовать Spark API для map-reduce и буду использовать Spark submit для развертывания своих...