Я хочу видеть журналы JobHistory, которые можно вводить в Рубец. В частности, мне интересно знать формат ввода для Gridmix.
Я пробовал следующие две вещи:
1) Я нашел эти файлы:. Что это за файл? Это формат вывода Rumen? Достаточно ли файла, похожего на этот, для Gridmix?
2) Еще одна вещь, которую я пробовал для просмотра журналов JobHistory, - это настроить hadoop и выполнить и просмотреть некоторые журналы. Однако я впервые настраиваю hadoop (Yarn and Map Reduce). Так что я ничего не знаю об этом. Я использую Hadoop Yarn версии 3.0.0.
Я выполняю свою казнь в Псевдо-распределенная_операция (Журналы JobHistory создаются в Pseudo-Distributed_Operation?).
Я включил агрегирование журнала пряжи, как было предложено Вот.
это В статье говорится о том, где можно найти журналы. Он говорит, что он находится в следующем каталоге в hdfs.
/user/uname/.staging/job_id/
Однако я не могу найти этот каталог. Ниже приводится сообщение об ошибке.
bin/hdfs dfs -ls /user/uname/.staging
ls: `/user/uname/.staging': No such file or directory
Я также попытался найти /user/uname/.staging в локальной файловой системе. Однако у меня возникла ошибка в том же каталоге, который не существует (это было очевидно, поскольку я не создавал его.) Однако я создал / user / uname в системе HDFS (при выполнении настройки и / user / uname / существует, но подкаталог .staging в нем не найден).
это Ответ stackoverflow действительно говорит о подобной проблеме, но не очень ясно, как я могу адаптировать его к моей проблеме, а также это для более старой версии Hadoop, и похоже, что он не будет работать для Hadoop-3.0.0
Было бы здорово, если бы кто-нибудь мог указать мне на какой-нибудь образец Gridmix Input или Rumen (Input или Output) или помочь мне выяснить, куда идут файлы журнала, созданные моими казнями.