Сервер истории Spark - определение файла журнала, в который записывается задание.

Я хочу использовать API сервера истории Spark (http://127.0.0.1:18080/api/v1/applications/), чтобы идентифицировать файл журнала в / tmp / spark-events /, в который записываются определенные задания. Я вижу, что идентификатор задания совпадает с именем файла журнала, поэтому я подумал, что если бы у меня было уникальное имя задания, я мог бы найти его и получить связанный идентификатор. Моя проблема здесь в том, что у меня есть приложение scala, которое устанавливает имя приложения в коде:

val conf = new SparkConf()
  .setAppName(s"TeraGen ($size)")

Каждый раз при запуске задание имеет одно и то же имя. Можно ли переопределить имя приложения в командной строке? Я пробовал передать --name, но это не сработало.

Если это не удается, есть ли лучший способ сделать это?


apache-spark scala spark-submit apache-spark-2.2
person runnerpaul    schedule 21.01.2018    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Я передал uuId в качестве аргумента, добавив в свой код следующее и назначив его переменной:

val uuId = args(2)

Затем я добавил его к имени приложения с помощью:

val conf = new SparkConf()
  .setAppName(s"TeraGen ($size) $uuId")
person runnerpaul    schedule 21.11.2018