SparkR под RStudio Server в Azure HDInsight

Я установил R 2.3.2, R Studio Server Open и пакет SparkR в кластере Azure HDInsight (Ubuntu 14.0.4).

Я могу создать экземпляр SparkR из командной строки R с чем-то вроде этого, и он отлично работает:

if (nchar(Sys.getenv("SPARK_HOME")) < 1) {
Sys.setenv(SPARK_HOME = "/usr/hdp/2.3.3.1-7/spark")
}

library(SparkR, lib.loc = c(file.path(Sys.getenv("SPARK_HOME"), "R", "lib")))
sc <- sparkR.init(master = "local[*]", sparkEnvir = list(spark.driver.memory="2g"))

Однако те же самые команды под RStudio Server выходят из строя. Здесь текст ошибки. Кажется, может быть, есть некоторые пути к классам, которые не подбираются? Есть идеи о том, как исследовать / исправить это в RStudio Server?

Спасибо!


azure rstudio-server r apache-spark sparkr
person Quantability    schedule 11.03.2016    source источник
comment
Можете ли вы прикрепить к своему вопросу исходный код ошибки?   -  person Maximilian Kohl    schedule 02.08.2016

Ответы (1)


arrow_upward
0
arrow_downward

Чтобы запустить SparkR на R Server под RStudio, достаточно сделать следующее:

library(SparkR)

sc <- sparkR.init()
sqlContext <- sparkRSQL.init(sc)
person Maximilian Kohl    schedule 02.08.2016