Я немного новичок в этом и имею небольшой опыт, был бы признателен за вашу помощь. Я пытаюсь установить Hive на существующую установку Spark.
В основном я без проблем следовал инструкциям на этой странице.
https://github.com/dryshliak/hadoop/wiki/Installing-Hive-on-existing-Hadoop-cluster
Я также создал базу данных с именем warehouse и вставил таблицу с именем test_table.
hive> show tables;
OK
employee
test_table
Time taken: 0.084 seconds, Fetched: 2 row(s)
hive> desc test_table;
OK
col1 int Integer Column
col2 string String Column
Time taken: 0.052 seconds, Fetched: 2 row(s)
hive>
Проблема, с которой я сталкиваюсь, заключается в том, что когда я пытаюсь вставить данные в test_table, используя команду
hive> insert into test_table values(1,'aaa');
Я получаю следующее сообщение об ошибке
Идентификатор запроса = hadoop_20190703135836_4b17eeac-249d-4e54-bd98-1212f3cb5b5d Всего вакансий = 1
Запуск задания 1 из 1
Чтобы изменить среднюю нагрузку редуктора (в байтах):
установить hive.exec.reducers.bytes.per.reducer = <число>
Чтобы ограничить максимальное количество редукторов:
установить hive.exec.reducers.max = <номер>
Чтобы установить постоянное количество редукторов:
установить mapreduce.job.reduces = <число>
Не удалось выполнить задачу Spark, за исключением 'org.apache.hadoop.hive.ql.metadata.HiveException (не удалось создать клиент Spark для сеанса Spark 821e05e7-74a8-4656-b4ed-3a622c9cadcc)'
СБОЙ: ошибка выполнения, код возврата 30041 из org.apache.hadoop.hive.ql.exec.spark.SparkTask. Не удалось создать клиент Spark для сеанса Spark 821e05e7-74a8-4656-b4ed-3a622c9cadcc
Ниже приведены версии, которые у меня есть
Версия сервера RHEL 7.5
Hadoop 3.1.1
Spark 2.4.0
Улей 3.1.1
Ниже вырезано из hive.log файл, в котором произошла ошибка.
2019-07-03T12: 56: 00,269 ИНФОРМАЦИЯ [6beaec32-ecac-4dc1-b118-f2c86c385005 main] ql.Driver: выполнение команды (queryId = hadoop_20190703125557_f48a3966-691d-4c42-aee0-93f81 1fabef_table values): вставить в значения test_table ааа ')
2019-07-03T12: 56: 00,270 ИНФОРМАЦИЯ [6beaec32-ecac-4dc1-b118-f2c86c385005 main] ql.Driver: Query ID = hadoop_20190703125557_f48a3966-691d-4c42-aee0-93f81fabef66
2019-07-03T12: 56: 00,270 ИНФОРМАЦИЯ [6beaec32-ecac-4dc1-b118-f2c86c385005 main] ql.Driver: Total jobs = 1
2019-07-03T12: 56: 00,282 ИНФОРМАЦИЯ [6beaec32-ecac-4dc1-b118-f2c86c385005 main] ql.Driver: Запуск задания 1 из 1
2019-07-03T12: 56: 00,282 ИНФОРМАЦИЯ [6beaec32-ecac-4dc1-b118-f2c86c385005 main] ql.Driver: Запуск задачи [Stage-1: MAPRED] в последовательном режиме
2019-07-03T12: 56: 00,282 ИНФОРМАЦИЯ [6beaec32-ecac-4dc1-b118-f2c86c385005 main] spark.SparkTask: Чтобы изменить среднюю нагрузку на редуктор (в байтах):
2019-07-03T12: 56: 00,282 ИНФОРМАЦИЯ [6beaec32-ecac-4dc1-b118-f2c86c385005 main] spark.SparkTask: установить hive.exec.reducers.bytes.per.reducer =
2019-07-03T12: 56: 00,282 ИНФОРМАЦИЯ [6beaec32-ecac-4dc1-b118-f2c86c385005 main] spark.SparkTask: Чтобы ограничить максимальное количество редукторов:
2019-07-03T12: 56: 00,282 ИНФОРМАЦИЯ [6beaec32-ecac-4dc1-b118-f2c86c385005 main] spark.SparkTask: установить hive.exec.reducers.max =
2019-07-03T12: 56: 00,282 INFO [6beaec32-ecac-4dc1-b118-f2c86c385005 main] spark.SparkTask: Чтобы установить постоянное количество редукторов:
2019-07-03T12: 56: 00,282 ИНФОРМАЦИЯ [6beaec32-ecac-4dc1-b118-f2c86c385005 main] spark.SparkTask: установить mapreduce.job.reduces =
2019-07-03T12: 56: 00,284 ИНФОРМАЦИЯ [6beaec32-ecac-4dc1-b118-f2c86c385005 main] session.SparkSessionManagerImpl: Настройка диспетчера сеансов.
2019-07-03T12: 56: 00,642 INFO [6beaec32-ecac-4dc1-b118-f2c86c385005 main] session.SparkSession: Попытка открыть сеанс Spark e3b4aa82-29a5-4e82-b63b-742c5d35df3f
2019-07-03T12: 56: 00,700 ОШИБКА [6beaec32-ecac-4dc1-b118-f2c86c385005 main] spark.SparkTask: не удалось выполнить задачу Spark, за исключением org.apache.hadoop.hive.ql.metadata.HiveException (Failed создать клиент Spark для сеанса Spark e3b4aa82-29a5-4e82-b63b-742c5d35df3f) '
org.apache.hadoop.hive.ql.metadata.HiveException: не удалось создать клиент Spark для сеанса Spark e3b4aa82-29a5-4e82-b63b-742c5d35df3f
в org.apache.hadoop.hive.ql.exec.spark.session.SparkSessionImpl.getHiveException (SparkSessionImpl.java:221)
в org.apache.hadoop.hive.ql.exec.spark.session.SparkSessionImpl.open (SparkSessionImpl.java:92)
в org.apache.hadoop.hive.ql.exec.spark.session.SparkSessionManagerImpl.getSession (SparkSessionManagerImpl.java:115)
в org.apache.hadoop.hive.ql.exec.spark.SparkUtilities.getSparkSession (SparkUtilities.java:136)
в org.apache.hadoop.hive.ql.exec.spark.SparkTask.execute (SparkTask.java:115)
в org.apache.hadoop.hive.ql.exec.Task.executeTask (Task.java:205)
в org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential (TaskRunner.java:97)
в org.apache.hadoop.hive.ql.Driver.launchTask (Driver.java:2664)
в org.apache.hadoop.hive.ql.Driver.execute (Driver.java:2335)
в org.apache.hadoop.hive.ql.Driver.runInternal (Driver.java:2011)
в org.apache.hadoop.hive.ql.Driver.run (Driver.java:1709)
в org.apache.hadoop.hive.ql.Driver.run (Driver.java:1703)
в org.apache.hadoop.hive.ql.reexec.ReExecDriver.run (ReExecDriver.java:157)
в org.apache.hadoop.hive.ql.reexec.ReExecDriver.run (ReExecDriver.java:218)
в org.apache.hadoop.hive.cli.CliDriver.processLocalCmd (CliDriver.java:239)
в org.apache.hadoop.hive.cli.CliDriver.processCmd (CliDriver.java:188)
в org.apache.hadoop.hive.cli.CliDriver.processLine (CliDriver.java:402)
в org.apache.hadoop.hive.cli.CliDriver.executeDriver (CliDriver.java:821)
в org.apache.hadoop.hive.cli.CliDriver.run (CliDriver.java:759)
в org.apache.hadoop.hive.cli.CliDriver.main (CliDriver.java:683)
в sun.reflect.NativeMethodAccessorImpl.invoke0 (собственный метод)
в sun.reflect.NativeMethodAccessorImpl.invoke (NativeMethodAccessorImpl.java:62)
в sun.reflect.DelegatingMethodAccessorImpl.invoke (DelegatingMethodAccessorImpl.java:43)
в java.lang.reflect.Method.invoke (Method.java:498)
в org.apache.hadoop.util.RunJar.run (RunJar.java:318)
в org.apache.hadoop.util.RunJar.main (RunJar.java:232)
Вызвано: java.lang.NoClassDefFoundError: org / apache / spark / SparkConf
в org.apache.hadoop.hive.ql.exec.spark.HiveSparkClientFactory.generateSparkConf (HiveSparkClientFactory.java:263)
в org.apache.hadoop.hive.ql.exec.spark.RemoteHiveSparkClient. (RemoteHiveSparkClient.java:98)
в org.apache.hadoop.hive.ql.exec.spark.HiveSparkClientFactory.createHiveSparkClient (HiveSparkClientFactory.java:76)
в org.apache.hadoop.hive.ql.exec.spark.session.SparkSessionImpl.open (SparkSessionImpl.java:87)
... еще 24
Вызвано: java.lang.ClassNotFoundException: org.apache.spark.SparkConf
в java.net.URLClassLoader.findClass (URLClassLoader.java:382)
в java.lang.ClassLoader.loadClass (ClassLoader.java:424)
в sun.misc.Launcher $ AppClassLoader.loadClass (Launcher.java:349)
в java.lang.ClassLoader.loadClass (ClassLoader.java:357)
... еще 28
2019-07-03T12: 56: 00,700 ОШИБКА [6beaec32-ecac-4dc1-b118-f2c86c385005 main] spark.SparkTask: не удалось выполнить задачу Spark, за исключением org.apache.hadoop.hive.ql.metadata.HiveException (Failed создать клиент Spark для сеанса Spark e3b4aa82-29a5-4e82-b63b-742c5d35df3f) '
org.apache.hadoop.hive.ql.metadata.HiveException: не удалось создать клиент Spark для сеанса Spark e3b4aa82-29a5-4e82-b63b-742c5d35df3f
в org.apache.hadoop.hive.ql.exec.spark.session.SparkSessionImpl.getHiveException (SparkSessionImpl.java:221) ~ [hive-exec-3.1.1.jar: 3.1.1]
в org.apache.hadoop.hive.ql.exec.spark.session.SparkSessionImpl.open (SparkSessionImpl.java:92) ~ [hive-exec-3.1.1.jar: 3.1.1]
в org.apache.hadoop.hive.ql.exec.spark.session.SparkSessionManagerImpl.getSession (SparkSessionManagerImpl.java:115) ~ [hive-exec-3.1.1.jar: 3.1.1]
в org.apache.hadoop.hive.ql.exec.spark.SparkUtilities.getSparkSession (SparkUtilities.java:136) ~ [hive-exec-3.1.1.jar: 3.1.1]
в org.apache.hadoop.hive.ql.exec.spark.SparkTask.execute (SparkTask.java:115) ~ [hive-exec-3.1.1.jar: 3.1.1]
в org.apache.hadoop.hive.ql.exec.Task.executeTask (Task.java:205) ~ [hive-exec-3.1.1.jar: 3.1.1]
в org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential (TaskRunner.java:97) ~ [hive-exec-3.1.1.jar: 3.1.1]
в org.apache.hadoop.hive.ql.Driver.launchTask (Driver.java:2664) ~ [hive-exec-3.1.1.jar: 3.1.1]
в org.apache.hadoop.hive.ql.Driver.execute (Driver.java:2335) ~ [hive-exec-3.1.1.jar: 3.1.1]
в org.apache.hadoop.hive.ql.Driver.runInternal (Driver.java:2011) ~ [hive-exec-3.1.1.jar: 3.1.1]
в org.apache.hadoop.hive.ql.Driver.run (Driver.java:1709) ~ [hive-exec-3.1.1.jar: 3.1.1]
в org.apache.hadoop.hive.ql.Driver.run (Driver.java:1703) ~ [hive-exec-3.1.1.jar: 3.1.1]
в org.apache.hadoop.hive.ql.reexec.ReExecDriver.run (ReExecDriver.java:157) ~ [hive-exec-3.1.1.jar: 3.1.1]
в org.apache.hadoop.hive.ql.reexec.ReExecDriver.run (ReExecDriver.java:218) ~ [hive-exec-3.1.1.jar: 3.1.1]
в org.apache.hadoop.hive.cli.CliDriver.processLocalCmd (CliDriver.java:239) ~ [hive-cli-3.1.1.jar: 3.1.1]
в org.apache.hadoop.hive.cli.CliDriver.processCmd (CliDriver.java:188) ~ [hive-cli-3.1.1.jar: 3.1.1]
в org.apache.hadoop.hive.cli.CliDriver.processLine (CliDriver.java:402) ~ [hive-cli-3.1.1.jar: 3.1.1]
в org.apache.hadoop.hive.cli.CliDriver.executeDriver (CliDriver.java:821) ~ [hive-cli-3.1.1.jar: 3.1.1]
в org.apache.hadoop.hive.cli.CliDriver.run (CliDriver.java:759) ~ [hive-cli-3.1.1.jar: 3.1.1]
в org.apache.hadoop.hive.cli.CliDriver.main (CliDriver.java:683) ~ [hive-cli-3.1.1.jar: 3.1.1]
at sun.reflect.NativeMethodAccessorImpl.invoke0 (собственный метод) ~ [?: 1.8.0_191]
в sun.reflect.NativeMethodAccessorImpl.invoke (NativeMethodAccessorImpl.java:62) ~ [?: 1.8.0_191]
в sun.reflect.DelegatingMethodAccessorImpl.invoke (DelegatingMethodAccessorImpl.java:43) ~ [?: 1.8.0_191]
в java.lang.reflect.Method.invoke (Method.java:498) ~ [?: 1.8.0_191]
в org.apache.hadoop.util.RunJar.run (RunJar.java:318) ~ [hadoop-common-3.1.1.jar :?]
в org.apache.hadoop.util.RunJar.main (RunJar.java:232) ~ [hadoop-common-3.1.1.jar :?]
Вызвано: java.lang.NoClassDefFoundError: org / apache / spark / SparkConf
в org.apache.hadoop.hive.ql.exec.spark.HiveSparkClientFactory.generateSparkConf (HiveSparkClientFactory.java:263) ~ [hive-exec-3.1.1.jar: 3.1.1]
в org.apache.hadoop.hive.ql.exec.spark.RemoteHiveSparkClient. (RemoteHiveSparkClient.java:98) ~ [hive-exec-3.1.1.jar: 3.1.1]
в org.apache.hadoop.hive.ql.exec.spark.HiveSparkClientFactory.createHiveSparkClient (HiveSparkClientFactory.java:76) ~ [hive-exec-3.1.1.jar: 3.1.1]
в org.apache.hadoop.hive.ql.exec.spark.session.SparkSessionImpl.open (SparkSessionImpl.java:87) ~ [hive-exec-3.1.1.jar: 3.1.1]
... еще 24
Вызвано: java.lang.ClassNotFoundException: org.apache.spark.SparkConf
в java.net.URLClassLoader.findClass (URLClassLoader.java:382) ~ [?: 1.8.0_191]
в java.lang.ClassLoader.loadClass (ClassLoader.java:424) ~ [?: 1.8.0_191]
at sun.misc.Launcher $ AppClassLoader.loadClass (Launcher.java:349) ~ [?: 1.8.0_191]
в java.lang.ClassLoader.loadClass (ClassLoader.java:357) ~ [?: 1.8.0_191]
в org.apache.hadoop.hive.ql.exec.spark.HiveSparkClientFactory.generateSparkConf (HiveSparkClientFactory.java:263) ~ [hive-exec-3.1.1.jar: 3.1.1]
в org.apache.hadoop.hive.ql.exec.spark.RemoteHiveSparkClient. (RemoteHiveSparkClient.java:98) ~ [hive-exec-3.1.1.jar: 3.1.1]
в org.apache.hadoop.hive.ql.exec.spark.HiveSparkClientFactory.createHiveSparkClient (HiveSparkClientFactory.java:76) ~ [hive-exec-3.1.1.jar: 3.1.1]
в org.apache.hadoop.hive.ql.exec.spark.session.SparkSessionImpl.open (SparkSessionImpl.java:87) ~ [hive-exec-3.1.1.jar: 3.1.1]
... еще 24
2019-07-03T12: 56: 00,701 ИНФОРМАЦИЯ [6beaec32-ecac-4dc1-b118-f2c86c385005 main] reexec.ReOptimizePlugin: ReOptimization: retryPossible: false
2019-07-03T12: 56: 00,701 ОШИБКА [6beaec32-ecac-4dc1-b118-f2c86c385005 main] ql.Driver: FAILED: ошибка выполнения, код возврата 30041 из org.apache.hadoop.hive.ql.exec.spark.SparkTask . Не удалось создать клиент Spark для сеанса Spark e3b4aa82-29a5-4e82-b63b-742c5d35df3f
2019-07-03T12: 56: 00,701 INFO [6beaec32-ecac-4dc1-b118-f2c86c385005 main] ql.Driver: завершено выполнение команды (queryId = hadoop_20190703125557_f48a3966-691d-4c42-aee0-93f81fabef66); Затраченное время: 0,432 секунды
2019-07-03T12: 56: 00,701 ИНФОРМАЦИЯ [6beaec32-ecac-4dc1-b118-f2c86c385005 main] ql.Driver: режим параллелизма отключен, диспетчер блокировок не создается
2019-07-03T12: 56: 00,721 ИНФОРМАЦИЯ [6beaec32-ecac-4dc1-b118-f2c86c385005 main] conf.HiveConf: Использование значения по умолчанию, переданного для идентификатора журнала: 6beaec32-ecac-4dc1-b118-f2c86c385005
2019-07-03T12: 56: 00,721 ИНФОРМАЦИЯ [6beaec32-ecac-4dc1-b118-f2c86c385005 main] session.SessionState: сброс имени потока на основное