Как я могу использовать chill-avro для загрузки Avro GenericRecords в Spark?

Я пробовал использовать Avro GenericRecords в Spark, но получил исключение java.io.NotSerializableException: org.apache.avro.mapred.AvroWrapper

Проект chill добавил поддержку Kryo / Avro для Scala. Как я могу объединить Kryo, Avro, chill и Spark для загрузки Avros?

apache-spark hadoop scala avro kryo

rjurney 04.06.2014 источник

arrow_upward
1
arrow_downward

chill-avro предназначен не для загрузки данных из FS, а для сериализации данных в полете. См. Ссылку ниже для получения дополнительной информации

Mansur Ashraf 25.06.2014