Я установил Apache Hadoop, spark, hive (мета-хранилище как встроенное дерби) и Scala на сервере Ubuntu и настроил его индивидуально. Каждый раз, когда я пытаюсь запустить spark-sql, он выдает сообщение об ошибке
19/12/12 11:11:02 INFO DataNucleus.Datastore: Класс org.apache.hadoop.hive.metastore.model.MResourceUri помечен как «только для встроенных», поэтому не имеет собственной таблицы хранилища данных. Исключение в потоке "main" java.lang.RuntimeException: java.net.ConnectException: вызов от namenode.gi.com/127.0.0.1 на localhost: сбой 9000 при исключении соединения: java.net.ConnectException: соединение отклонено; Подробнее см .: http://wiki.apache.org/hadoop/ConnectionRefused в org.apache.hadoop.hive.ql.session.SessionState.start (SessionState.java:522) на org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver $ .main (SparkSQLCLIDriver.scala: 133) в org. apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver.main (SparkSQLCLIDriver.scala) в sun.reflect.NativeMethodAccessorImpl.invoke0 (собственный метод) в sun.reflect.NativeMethodAccessorImpl.Invoke.AccessorImpl. DelegatingMethodAccessorImpl.invoke (DelegatingMethodAccessorImpl.java:43) в java.lang.reflect.Method.invoke (Method.java:498) в org.apache.spark.deploy.JavaMainApplication.start (SparkApplication) в org.scala: .spark.deploy.SparkSubmit.org $ apache $ spark $ deploy $ SparkSubmit $$ runMain (SparkSubmit.scala: 845) в org.apache.spark.deploy.SparkSubmit.doRunMain $ 1 (SparkSubmit.scala: 161) в org.apache .spark.deploy.SparkSubmit.submit (SparkSubmit.scala: 184) на org.apache.spark.deploy.SparkSubmit.doSubmit (SparkSubmit.scala: 86) на org.apache.spark.deploy.SparkSubmit $$ anon $ 2.doSu bmit (SparkSubmit.scala: 920) в org.apache.spark.deploy.SparkSubmit $ .main (SparkSubmit.scala: 929) в org.apache.spark.deploy.SparkSubmit.main (SparkSubmit.scala) Вызвано: java. net.ConnectException: вызов с namenode.gi.com/127.0.0.1 на localhost: сбой 9000 при подключении, исключение: java.net.ConnectException: соединение отклонено; Подробнее см .: http://wiki.apache.org/hadoop/ConnectionRefused в sun.reflect.NativeConstructorAccessorImpl.newInstance0 (собственный метод) в sun.reflect.NativeConstructorAccessorImpl.newInstance (NativeConstructorAccessorImpl.java:62) в sun.reflect.DelegatingConstructorAccessorImpl.newConstructor.java:AccessorImpl.newConstructor.java: .newInstance (Constructor.java:423) в org.apache.hadoop.net.NetUtils.wrapWithMessage (NetUtils.java:792) в org.apache.hadoop.net.NetUtils.wrapException (NetUtils.java:732) в org. apache.hadoop.ipc.Client.call (Client.java:1479) на org.apache.hadoop.ipc.Client.call (Client.java:1412) на org.apache.hadoop.ipc.ProtobufRpcEngine $ Invoker.invoke ( ProtobufRpcEngine.java:229) на com.sun.proxy. $ Proxy16.getFileInfo (Неизвестный источник) на org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.getFileInfo (ClientNamenodeProtocolTranslatorPB.getFileInfo (ClientNamenodeProtocolTranslatorPB.getFileInfo (ClientNamenodeProtocolTranslatorPB.getFileInfo) (ClientNamenodeProtocolTranslatorPB). (Собственный метод) в sun.reflect.NativeMethodAccessorImpl.invoke (NativeMethodAccessorImpl.java:62) a t sun.reflect.DelegatingMethodAccessorImpl.invoke (DelegatingMethodAccessorImpl.java:43) в java.lang.reflect.Method.invoke (Method.java:498) в org.apache.hadoop.io.retry.RetryInvocationHandlerHandler.invoke (RetryInvocationHandler.invocation. : 191) на org.apache.hadoop.io.retry.RetryInvocationHandler.invoke (RetryInvocationHandler.java:102) на com.sun.proxy. $ Proxy17.getFileInfo (Неизвестный источник) на org.apache.hadoop.hdfs.DFSClient. getFileInfo (DFSClient.java:2108) в org.apache.hadoop.hdfs.DistributedFileSystem $ 22.doCall (DistributedFileSystem.java:1305) в org.apache.hadoop.hdfs.DistributedFileSystem $ 22.doCall (DistributedFile1301.java) или .apache.hadoop.fs.FileSystemLinkResolver.resolve (FileSystemLinkResolver.java:81) в org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus (DistributedFileSystem.java:1317) в org.apache.hadoop.fs.Fs.Fs. .java: 1426) в org.apache.hadoop.hive.ql.session.SessionState.createRootHDFSDir (SessionState.java:596) в org.apache.hadoop.hive. ql.session.SessionState.createSessionDirs (SessionState.java:554) в org.apache.hadoop.hive.ql.session.SessionState.start (SessionState.java:508) ... еще 14 Вызвано: java.net.ConnectException : В соединении отказано на sun.nio.ch.SocketChannelImpl.checkConnect (собственный метод) на sun.nio.ch.SocketChannelImpl.finishConnect (SocketChannelImpl.java:717) на org.apache.hadoop.net.SocketIOWithTimeout.conneithTime (SooutIavajava) : 206) на org.apache.hadoop.net.NetUtils.connect (NetUtils.java:531) на org.apache.hadoop.net.NetUtils.connect (NetUtils.java:495) на org.apache.hadoop.ipc. Client $ Connection.setupConnection (Client.java:614) в org.apache.hadoop.ipc.Client $ Connection.setupIOstreams (Client.java:712) в org.apache.hadoop.ipc.Client $ Connection.access $ 2900 (Клиент .java: 375) на org.apache.hadoop.ipc.Client.getConnection (Client.java:1528) на org.apache.hadoop.ipc.Client.call (Client.java:1451) ... 34 еще 19 / 12/12 11:11:03 INFO util.ShutdownHookManager: Вызывается ловушка отключения 19/12/12 11:11:03 INFO u til.ShutdownHookManager: удаление каталога / tmp / spark-ff8f7b7c-58c7-4288-bf06-e9dabb743fd1
Я пробовал следующее:
Отредактировал файл .bashrc, установив HADOOP_HOME, SPARK_HOME, HIVE_HOME. Настроил / etc / hosts / на I.P. сервера. Добавлен hive-site.xml в / spark / conf /.
Как устранить эту ошибку? Возникла проблема с файлами конфигурации. Та же ошибка возникает, когда я пытался настроить дельта-озеро с помощью Spark-Shell?