hadoop – список вопросов по тегу – страница №2

Мы готовимся к реализации нашего первого кластера Hadoop. Таким образом, мы начинаем с малого с установки из четырех узлов. (1 главный узел и 3 рабочих узла) У каждого узла...

Я хотел бы знать о ваших стратегиях относительно того, что делать в случае отказа одного из дисков сервера Hadoop. Допустим, у меня несколько (> 15) серверов Hadoop и 1...

Мне нужно установить размер блока файла, когда я загружаю его в HDFS, на некоторое значение, меньшее, чем размер блока кластера. Например, если HDFS использует блоки размером...

У меня есть 5 подчиненных кластеров Hadoop (с использованием CDH4) --- подчиненные устройства - это то место, где работают DataNode и TaskNode. Каждое ведомое устройство имеет...

У нас есть 7 идентичных физических серверов (2x8 ядерных процессора, 128 ГБ ОЗУ, 8 дисков по 6 ТБ), которые будут использоваться для Hadoop. Все машины подключены к коммутатору...

У кого-нибудь есть хорошее предложение для прямой синхронизации с HDFS? ("прямая синхронизация" в отличие от "двунаправленной синхронизации") В основном у меня есть большое...

У нас довольно мало проблем с нашим сервером Spark Thrift. Это новый кластер Ambari, и в настоящее время не выполняется никаких заданий Spark. В журнале мы видим сообщение об...

Я ищу способ zgrep hdfs файлы что-то вроде: hadoop fs -zcat hdfs://myfile.gz | grep "hi"...

Мы собираемся приобрести новое оборудование для использования только для кластера Hadoop, и мы застряли в том, что нам следует приобрести. Предположим, у нас есть бюджет в 5...

Мы думаем о переносе нашей инфраструктуры Hadoop из центра обработки данных в AWS EMR. Поскольку некоторые задачи / этапы процесса ETL зависят, например, поток похож на...