Я предоставляю пользовательские свойства log4j для отправки искры следующим образом:
spark-submit --master yarn --queue qqqq \
--driver-java-options "-Dlog4j.configuration=file:/absolute path/to properties file/driver-log4j.properties" \
--conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/absolute path/to properties file/executor-log4j.properties" \
--class com.abc.spark.def.MyClass myApp.jar arg1 arg2
Журналы Spark показывают, что эти свойства log4j драйвера и исполнителя считываются правильно. Я могу видеть журналы приложений, записанные в журналы драйверов, но ничего в журналах исполнителя.
Я прочитал это, это, это и это. Кто-нибудь сталкивался с этой проблемой раньше? Если это поможет, этот код работает на платформе MapR.
--files
, чтобы поместить файл log4j в исполнителя - person Thang Nguyen   schedule 06.12.2017