Пользовательские журналы Spark Executor [дубликаты]

Я предоставляю пользовательские свойства log4j для отправки искры следующим образом:

spark-submit --master yarn --queue qqqq \
  --driver-java-options "-Dlog4j.configuration=file:/absolute path/to properties file/driver-log4j.properties" \
  --conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/absolute path/to properties file/executor-log4j.properties" \
  --class com.abc.spark.def.MyClass myApp.jar arg1 arg2

Журналы Spark показывают, что эти свойства log4j драйвера и исполнителя считываются правильно. Я могу видеть журналы приложений, записанные в журналы драйверов, но ничего в журналах исполнителя.

Я прочитал это, это, это и это. Кто-нибудь сталкивался с этой проблемой раньше? Если это поможет, этот код работает на платформе MapR.


person user123    schedule 05.12.2017    source источник
comment
Возможно, вам нужно добавить опцию --files, чтобы поместить файл log4j в исполнителя   -  person Thang Nguyen    schedule 06.12.2017
comment
@cue - спасибо за ваш вклад. Я пробовал, у меня не сработало.   -  person user123    schedule 06.12.2017
comment
Вы смогли это исправить? Я сталкиваюсь с похожей проблемой   -  person Krishna Modi    schedule 27.04.2021