Внешняя библиотека jars с spark-submit

У меня есть приложение Scala, которое использует внешнюю библиотеку jar. Как я могу его использовать, если jar приложения был скопирован на hdfs?

Из локального я начал с --conf spark.driver.extraClassPath=./lib/*, но если я использую ссылку hdfs, это не сработает.


person user5730669    schedule 03.08.2017    source источник
comment
Почему бы вам просто не создать толстую банку с помощью maven stackoverflow.com/questions/16222748/? То же самое доступно для Gradle или другого инструмента сборки.   -  person jojo_Berlin    schedule 03.08.2017
comment
@jojo_Berlin - хороший случай, но мне не нужны все библиотеки.   -  person user5730669    schedule 04.08.2017
comment
@ user5730669: проверьте мой ответ здесь   -  person Ram Ghadiyaram    schedule 22.08.2017
comment
Возможный дубликат как добавить банку ресурсов для spark-submit?   -  person Ram Ghadiyaram    schedule 22.08.2017
comment
@jojo_Berlin Я был создан толстой банкой. Но это не очень хорошая проблема, потому что в результате у меня был большой файл jar, который будет копироваться на всех узлах, когда jar запущен. После разработки приложения я создам oozie и загружу все библиотеки с oozie из внешней библиотеки на HDFS.   -  person user5730669    schedule 23.08.2017