Получение ошибки при инициализации sparkR: JVM не готова через 10 секунд

В настоящее время я тестирую одно приложение с использованием SparkR. Это сведения о моей платформе и приложении:

Платформа: Windows server 2008 SparkR версия: R версия 3.1.2 (2014-10-31) Spark Verion: версия 1.4.1

Что я сделал?

Шаг I. Загрузите пакет в среду R

библиотека (SparkR) - Рабочая

Шаг 2. Задайте системные переменные среды

Sys.setenv (SPARK_HOME = "C: \ hdp \ spark-1.4.1-bin-hadoop2.6") - Рабочий .libPaths (c (file.path (Sys.getenv ("SPARK_HOME"), "R", "lib"),. libPaths ()))

Шаг III. Создайте контекст Spark и контекст SQL

sc ‹- sparkR.init (master =" local ", sparkHome =" C: \ hdp \ spark-1.4.1-bin-hadoop2.6 ", appName =" TestSparR ")

Ошибка в этой строке, т.е. JVM не готова через 10 секунд

Пожалуйста, помогите мне решить эту проблему. Спасибо.


r apache-spark hadoop sparkr hadoop2
person Vijay_Shinde    schedule 25.08.2015    source источник
comment
SPARK-8603   -  person zero323    schedule 25.08.2015

Ответы (1)


arrow_upward
2
arrow_downward

У меня была такая же проблема, и я могу вам сказать, что перепробовал много разных вещей.

Но, наконец, у меня сработало следующее, после перезагрузки моего компьютера (и R и RStudio, кстати):

SPARK_HOME <- "C:\\Apache\\spark-1.5.2-bin-hadoop2.6\\"
Sys.setenv('SPARKR_SUBMIT_ARGS'='"--packages" "com.databricks:spark-csv_2.10:1.2.0" "sparkr-shell"')
library(SparkR, lib.loc = "C:\\Apache\\spark-1.5.2-bin-hadoop2.6\\R\\lib")

library(SparkR)
library(rJava)

sc <- sparkR.init(master = "local", sparkHome = SPARK_HOME)

Возможно, это может помочь: после перезапуска системы это было включено в мои переменные среды PATH:

C: \ ProgramData \ Oracle \ Java \ javapath

person quim    schedule 30.11.2015