hdfs – список вопросов по тегу – страница №1

Я все еще новичок в Hadoop, и на этот раз я пытался обработать файл размером 106 ГБ. я использовал -copyFromLocal чтобы скопировать этот большой файл в мою Hadoop DFS, но...

Обновление 4215: Посмотрев на использование пространства внутри из hdfs, я вижу, что .oldlogs занимает много места: 1485820612766 /hbase/.oldlogs...

Мы готовимся к реализации нашего первого кластера Hadoop. Таким образом, мы начинаем с малого с установки из четырех узлов. (1 главный узел и 3 рабочих узла) У каждого узла...

Мне нужно установить размер блока файла, когда я загружаю его в HDFS, на некоторое значение, меньшее, чем размер блока кластера. Например, если HDFS использует блоки размером...

У меня есть 5 подчиненных кластеров Hadoop (с использованием CDH4) --- подчиненные устройства - это то место, где работают DataNode и TaskNode. Каждое ведомое устройство имеет...

Я исследовал распределенные базы данных и файловые системы, и хотя изначально меня больше интересовал Hadoop / HBase, потому что я программист на Java, я нашел этот очень...

У кого-нибудь есть хорошее предложение для прямой синхронизации с HDFS? ("прямая синхронизация" в отличие от "двунаправленной синхронизации") В основном у меня есть большое...

Я ищу способ zgrep hdfs файлы что-то вроде: hadoop fs -zcat hdfs://myfile.gz | grep "hi"...

Я использую curl для загрузки больших файлов (от 5 до 20 ГБ) в Обруч на основе HDFS (Hadoop Cluster) следующим образом: curl -f --data-binary "@$file"...

Я следовал инструкциям Вот для установки hadoop в псевдораспределенном режиме. Однако у меня проблемы с подключением к HDFS. Когда я выполняю эту команду: ./hadoop fs -ls /...