Есть ли способ использовать Spark SQL Connector в Zeppelin Notebook?

Я хочу использовать Spark SQL Connector для чтения и записи данных на SQL Server. В качестве доказательства концепции я подумал об использовании записной книжки zeppelin для выполнения этой задачи. Я могу загрузить зависимость, используя следующую строку кода в zeppelin:

% spark.dep

z.load ("com.microsoft.azure:azure-sqldb-spark:1.0.2")

Но я не могу написать какие-либо операторы импорта из этого пакета, например

import com.microsoft.azure.sqldb.spark.config._
import com.microsoft.azure.sqldb.spark.connect._
import com.microsoft.azure.sqldb.spark.query._
import com.microsoft.azure.sqldb.spark._
import com.microsoft.azure.sqldb.spark.bulkcopy._

Я получаю сообщение об ошибке, что объект azure не является членом пакета com.microsoft. Кто-нибудь знает, почему это происходит?


azure apache-spark apache-zeppelin
person Nikunj Kakadiya    schedule 31.10.2019    source источник
comment
какая версия Цеппелина? а какая там версия Spark?   -  person Alex Ott    schedule 03.11.2019
comment
@AlexOtt - Zeppelin 0.8.2 и версия Spark 2.3.0   -  person Nikunj Kakadiya    schedule 26.11.2019

Ответы (1)


arrow_upward
0
arrow_downward

попробуйте добавить эту зависимость в Interpreter -> Spark -> Dependencies, в этом случае нет необходимости использовать z.load. После сохранения артефакта перезапустите интерпретатор.

person arbuzov    schedule 31.10.2019