Я хотел бы добавить некоторую конфигурацию, когда задание Spark отправляется через Apache Livy в кластер Azure. В настоящее время для запуска Spark Job через Apache Livy в кластере я использую следующую команду
curl -X POST --data '{"file": "/home/xxx/lib/MyJar.jar", "className": "org.springframework.boot.loader.JarLauncher"}' -H "Content-Type: application/json" localhost:8998/batches
Эта команда генерирует следующий процесс
……. org.apache.spark.deploy.SparkSubmit --conf spark.master=yarn-cluster --conf spark.yarn.tags=livy-batch-51-qHXmHXWg --conf spark.yarn.submit.waitAppCompletion=false --class org.springframework.boot.loader.JarLauncher adl://home/home/xxx/lib/MyJar.jar
Из-за технической проблемы при запуске jar-файла мне нужно ввести в эту команду две конфигурации.
--conf "spark.driver.extraClassPath=/home/xxx/lib /jars/*"
--conf "spark.executor.extraClassPath=/home/xxx/lib/jars/*"
Это связано с проблемой выхода из системы при работе на Spark, который использует log4j2. дополнительный путь к классам добавляет jar-файлы с логбэком
Я нашел здесь https://groups.google.com/a/cloudera.org/forum/#!topic/hue-user/fcRM3YiqAAA, что это можно сделать, добавив этот conf в LIVY_SERVER_JAVA_OPTS или spark-defaults.conf
Из Ambari я изменил LIVY_SERVER_JAVA_OPTS в livy-env.sh (в меню spak2 и livy) и расширенные значения по умолчанию для spark2 в Spark2.
К сожалению, с нашей стороны это не работает. Даже я вижу, что LivyServer запускается с -Dspark.driver.extraClassPath
Можно ли добавить в Azure Hdinsight какую-либо конкретную конфигурацию, чтобы она работала?
Обратите внимание, что процесс должен быть похож на
……. org.apache.spark.deploy.SparkSubmit --conf spark.master=yarn-cluster --conf spark.yarn.tags=livy-batch-51-qHXmHXWg --conf spark.yarn.submit.waitAppCompletion=false **--conf "spark.driver.extraClassPath=/home/xxx/lib /jars/*" --conf "spark.executor.extraClassPath=/home/xxx/lib/jars/*"**
--class org.springframework.boot.loader.JarLauncher adl://home/home/xxx/lib/MyJar.jar
Спасибо
