Ошибка отражения при создании сеанса искры через Ливи

Я создаю искровую сессию через LivyClient. Код для создания сеанса -

var client: LivyClient = null
  try {
    client = new LivyClientBuilder()
      .setURI(new URI("http://127.0.0.1:4141"))
      .build();
    val pi = client.submit(new FileStream()).get
  } finally {
    client.stop(true)
  }

При создании сеанса я получаю сообщение об ошибке -

Исключение в потоке main scala.reflect.internal.FatalError: объект Predef не имеет члена classOf введите изображение описание здесь

Я использую следующие версии -

  1. Apache Livy - 0.5.0-инкубатор
  2. Apache Spark - 2.3.0
  3. Scala - 2.11 (2.11.8)

Я проверил версию scala-reflection во всех трех, и они одинаковы.

Я не могу понять, что вызывает указанную ниже ошибку


person Naina Jain    schedule 22.11.2018    source источник
comment
Добро пожаловать в Stack Overflow. Изображения ошибок крайне не приветствуются. отредактируйте свой вопрос и включите ошибку в виде текста.   -  person zero323    schedule 22.11.2018
comment
вы должны передать Livy Job в client.submit метод   -  person morsik    schedule 22.11.2018
comment
У меня такая же ошибка. Вы когда-нибудь находили решение этого?   -  person user4601931    schedule 02.04.2019


Ответы (1)


Какую версию Java вы используете? Похоже, что изменения в Java 9, касающиеся удаления устаревших функций, останавливают Spark с ошибками, относящимися к отражению. На домашней странице написано, что Java должна быть не ниже 8 версии.

person Bradley Ross    schedule 11.12.2018