Попытка заставить классы, расширяющие W, иметь метод get, который возвращает набор данных подкласса WR. abstract class WR case class TGWR( a: String, b: String ) extends WR abstract class W { def get[T <: WR]():...

Это отлично работает: def echo[A, B](a: A, b: B): A = ??? Это тоже нормально: def echo[A, B](a: A, b: B): B = ??? Однако как нам добиться этого, чтобы вернуть либо тип A, либо тип B? // error def echo[A, B](a: A, b: B): A|B = ???...

Скажем, у вас есть это (решение для кодирования нестандартного типа взято из этого потока ): // assume we handle custom type class MyObj(val i: Int, val j: String) implicit val myObjEncoder = org.apache.spark.sql.Encoders.kryo[MyObj] val ds =...

Я хочу преобразовать dataFrame в dataSet, используя другой класс case. Теперь мой код выглядит так, как показано ниже. case Class Views(views: Double) case Class Clicks(clicks: Double) def convertViewsDFtoDS(df: DataFrame){ df.as[Views] }...

У меня проблема с искрой, уже описанная в искре нестандартный кодировщик kryo not предоставляет схему для UDF , но сейчас создал минимальный образец: https://gist.github.com/geoHeil/dc9cfb8eca5c06fca01fc9fc03431b2f class SomeOtherClass(foo:...

Я получаю исключение при попытке прочитать набор данных из s3. Класс дела компании содержит набор с классом дела сотрудника. Exception in thread "main" java.lang.UnsupportedOperationException: No Encoder found for...

Искра 2.3.0 со Скала 2.11. Я реализую пользовательский Aggregator в соответствии с документами здесь . Агрегатор требует 3 типа для ввода, буфера и вывода. Мой агрегатор должен воздействовать на все предыдущие строки в окне, поэтому я объявил...

Есть ли способ переименовать имена столбцов в наборе данных, используя аннотации Джексона при создании набора данных? Мой класс кодировщика выглядит следующим образом: import com.fasterxml.jackson.annotation.JsonProperty; import lombok.*;...

Следующий тест для сравнения наборов данных завершается с ошибкой: Error:(55, 38) Unable to find encoder for type org.apache.spark.sql.Dataset[(String, Long)]. An implicit Encoder[org.apache.spark.sql.Dataset[(String, Long)]] is needed to store...