Внутренняя ошибка сервера: сеанс находится в состоянии ошибки запуска при выполнении примера задания Spark Livy

Ошибка «Внутренняя ошибка сервера: сеанс находится в состоянии запуска» при выполнении примера задания Spark Livy.

Я установил Livy для доступа к apache-spark с помощью REST API и запустил сервер Livy. При запуске пробного приложения Spark Pi (как на https://github.com/cloudera/livy ), Я получаю сообщение об ошибке «Причина: java.io.IOException: внутренняя ошибка сервера:« java.lang.IllegalStateException: сеанс находится в состоянии запуска ».

Исключение в потоке «main» java.util.concurrent.ExecutionException: java.io.IOException: внутренняя ошибка сервера: «java.lang.IllegalStateException: сеанс находится в состоянии запуска» в com.cloudera.livy.client.http.JobHandleImpl. get (JobHandleImpl.java:201) в com.cloudera.livy.client.http.JobHandleImpl.get (JobHandleImpl.java:91) в PiApp.main (PiApp.java:96) Причина: java.io.IOException: Internal Ошибка сервера: «java.lang.IllegalStateException: сеанс находится в состоянии запуска» в com.cloudera.livy.client.http.LivyConnection.sendRequest (LivyConnection.java:197) в com.cloudera.livy.client.http.LivyConnection. sendJSONRequest (LivyConnection.java:173) в com.cloudera.livy.client.http.LivyConnection.post (LivyConnection.java:149) в com.cloudera.livy.client.http.JobHandleImpl $ 1.run (JobHandleImpl. ) в java.util.concurrent.Executors $ RunnableAdapter.call (Executors.java:511) в java.util.concurrent.FutureTask.run (FutureTask.j ava: 266) в java.util.concurrent.ScheduledThreadPoolExecutor $ ScheduledFutureTask.access $ 201 (ScheduledThreadPoolExecutor.java:180) в java.util.concurrent.ScheduledThreadPoolExecutor $ ScheduledFutureCeduled.JavaScript.jsubscribe.com. ThreadPoolExecutor.runWorker (ThreadPoolExecutor.java:1142) в java.util.concurrent.ThreadPoolExecutor $ Worker.run (ThreadPoolExecutor.java:617) в java.lang.Thread.run (Thread.java:745)


apache-spark livy
person Saurabh Rana    schedule 01.03.2017    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Даже у меня была такая же ошибка при запуске PiApp.java из моего Eclipse и подключении к удаленному серверу Livy. Но когда я запустил ту же самую банку PiApp прямо на удаленном сервере, где установлены Livy и Spark, он заработал нормально ...

java -cp /home/Anshul/livy/spark-core_2.10-1.6.0.jar:/home/Anshul/livy/livy-api-0.3.0.jar:/home/Anshul/livy/livy-client- http-0.3.0.jar: /home/Anshul/livy/LivyApp-0.0.1-SNAPSHOT.jar com.cloudera.livy.examples.PiApp http://sandbox.hortonworks.com:8998 2

person Anshul Gupta    schedule 21.03.2017
comment
Спасибо. Разве мы не должны запускать его с помощью spark-submit? Я пытался запустить его с помощью SparkSubmit. - person Saurabh Rana; 22.03.2017
comment
Я пробовал эту команду: java -cp LivyClient1-jar-with-dependencies.jar: /opt/cloudera/parcels/CDH-5.7.0-1.cdh5.7.0.p1464.1349/jars/spark-core_2.10-1.6 .0-cdh5.7.0.jar: /home/ubuntu/softwares/livy-server-0.2.0/jars/livy-api-0.2.0.jar: /home/ubuntu/softwares/livy-server-0.2.0 /jars/livy-client-common-0.2.0.jar PiApp имя хоста: 8998 2. Однако он дал ту же ошибку: вызвано: java.io.IOException: внутренняя ошибка сервера: java.lang.IllegalStateException: сеанс находится в состоянии запуска com.cloudera.livy.client.http.LivyConnection.sendRequest (LivyConnection.java:197) - person Saurabh Rana; 22.03.2017
comment
Spark-Submit здесь определенно неприменим, поскольку основная задача Livy Server заключается в том, чтобы наши клиентские приложения не беспокоились о контексте искры и отправлениях ... Что касается вашей ошибки, попробуйте с livy 0.3.0 jar, которые сработали для меня ... Хотя технически я не могу решить эту проблему, когда работаю прямо из eclipse. Я преобразовал свое приложение Livy в приложение Spring Boot, но эта ошибка все равно появляется ... Единственный способ, которым я могу успешно запустить его, - это использовать livy jar 0.3.0 извне, например java -cp - person Anshul Gupta; 24.03.2017
comment
Спасибо. поменяю на версию 0.3.0 и попробую. - person Saurabh Rana; 27.03.2017
comment
Спасибо . Используя версию 0.3.0, я не получаю этой ошибки. Теперь я сталкиваюсь с другой проблемой: отправка искрового задания с использованием запроса Livy Rest переводит задание в мертвое состояние. {Id: 12, state: dead, appId: null, appInfo: {driverLogUrl: null, sparkUiUrl: null} - person Saurabh Rana; 29.03.2017
comment
Несколько новых конфигураций, которые я нашел, приведены ниже ....... livy_server_session_kind = yarn livy.file.local-dir-whitelist = / home / livy / .livy-sessions Также удивительно, что LivyApp работает только с использованием livy-client- http jar от cloudera, а не livy-api jar в инкубационном проекте apache ....... ‹dependency› ‹groupId› com.cloudera.livy ‹/groupId› ‹artifactId› livy-client-http ‹/artifactId› ‹ версия ›0.3.0 ‹/version› ‹/dependency› - person Anshul Gupta; 30.11.2017