невозможно создать H2OContext в Databricks - с помощью pysparkling

Я не могу создать H2OContext в Spark Databricks - используя pysparkling. Это дает следующую ошибку.

Код: из pysparkling import *
Код: import h2o
Код: h2oConf = H2OConf (spark)
Код: h2oConf.set ("spark.ui.enabled", True)

Out [2]: конфигурация Sparkling Water: режим внутреннего кластера: внутренние рабочие: нет cloudName: еще не задано, оно будет установлено автоматически перед запуском H2OContext. flatfile: true clientBasePort: 54321 nodeBasePort: 54321 cloudTimeout: 60000 h2oNodeLog: INFO h2oClientLog: INFO nthreads: -1 drddMulFactor: 10

Код: h2oContext = H2OContext.getOrCreate (spark, h2oConf)
Ошибка: java.lang.NoSuchFieldError: квазибиномиальный

Вот все подробности кластера:
1. Кластер:
Версия среды выполнения: Spark 2.1 (Автообновление, Scala 2.11) Тип: Стандартные рабочие: 4

  1. Библиотеки, подключенные с указанным выше кластером: h2o_pysparkling_2.1,
    h2o-genmodel.jar

apache-spark pyspark databricks h2o sparkling-water
person Marvania Mehul - MKPatel    schedule 18.05.2018    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Нашел проблему. Я использовал кластер Spark 2.1 (Автообновление, Scala 2.11). Но я должен использовать кластер Spark 2.1.X-dbx (вы должны использовать версию Spark 2.1 и Scala 2.11) при работе с H2O Sparkling water.

person Marvania Mehul - MKPatel    schedule 22.05.2018