Исключение нулевого указателя после добавления зависимости к интерпретатору Spark2

Вам не нужно добавлять spark-sql, он уже находится в интерпретаторе искры.

Просто добавьте %spark.sql в верхней части записной книжки, чтобы создать среду SQL.

https://zeppelin.apache.org/docs/0.8.0/interpreter/spark.html#overview

Я решил проблему. Я определял класс в Scala. Методы to_date и date_format использовались внутри класса, но мои операторы импорта находились за пределами класса. Все, что мне нужно было сделать, это поместить операторы импорта в скобки класса, и все заработало.

case class HelperClass(){
import org.apache.spark.sql.functions._
import org.apache.spark.sql.types._

var fire_services_customDF = fire_servicesDF
var data=fire_servicesDF

def SetDatatypes() : Unit = {
    data=fire_services_customDF.withColumn("CallDateTmp",date_format(to_date(col("CallDate"), "MM/dd/yy"), "yyyy-MM-dd").cast("timestamp"))
}

def PrintSchema() : Unit= {
         data.printSchema
}

}