mapreduce – список вопросов по тегу – страница №1

При настройке hadoop я обнаружил, что сценарий hadoop-config.sh присутствует в двух каталогах: bin / и libexec /. Оба файла идентичны. Изучая сценарии, я обнаружил, что если в...

Как изменить тайм-аут для действий начальной загрузки в Amazon Elastic MapReduce?

Я недавно играл с Hadoop. У меня есть кластер с шестью узлами, работающий с HDFS, и я выполнил несколько заданий MapRed. Все идет нормально. Однако теперь я хочу делать это...

Я пытаюсь запустить собственные сценарии Python для сопоставления и редуктора с помощью Hadoop Streaming в моем кластере, построенном на виртуальных машинах VMware Workstation...

Я использую Hadoop в проекте, и мне нужно предложение. Обычно по умолчанию Hadoop имеет «размер блока» около 64 МБ. Также предлагается не использовать много / маленьких файлов...

Я хочу видеть журналы JobHistory, которые можно вводить в Рубец. В частности, мне интересно знать формат ввода для Gridmix. Я пробовал следующие две вещи: 1) Я нашел эти...

В моей среде разработки на EC2 есть только один узел данных. Я выполнил тяжелую работу MR и через 6 часов заметил, что 100% мапперов и 20% редюсеров закончили (1 редьюсер...

Моя задача: Сначала я хочу импортировать данные из MS SQL Server в HDFS с помощью SQOOP. Через Hive обрабатываю данные и формирую результат в одной таблице Этот результат...

Я пытаюсь запустить Docker в потоковом режиме Elastic MapReduce, но у меня возникли проблемы с разрешениями. В моем сценарии начальной загрузки мне нужно, чтобы пользователь...

Это результат db.currentOp (): > db.currentOp()...