Можно ли использовать spark-submit в качестве планировщика заданий?

У меня есть автономный кластер spark без установленного другого планировщика заданий. Интересно, можно ли использовать spark-submit в качестве планировщика заданий как для искровых, так и для неискровых заданий (например, jar scala, не написанный для Spark и не использующий RDD)?

На основании моего тестирования spark-submit можно использовать для отправки заданий, отличных от Spark, и задания выполняются успешно. Но вот мои вопросы:

  1. Являются ли следующие параметры по-прежнему значимыми? --driver-cores --driver-memory --executor-memory --total-executor-cores
  2. Если нет на 1, означает ли это, что spark-submit может поддерживать очередь искровых и неискровых заданий с использованием FIFO, но не управляет ресурсами неискрового задания?
  3. Если 2 верно, должен ли я использовать другой планировщик, например. SGE или LSF, чтобы отправлять задания без искры?

Спасибо!


spark-submit
person blueskyddd    schedule 14.09.2017    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Я понял после многих тестов. Да, Spark Standalone может быть планировщиком заданий как для искровых, так и для других заданий.

  1. Однако для заданий без искры spark-submit создает только драйверы, а не исполнителей.
  2. Задания планируются в очереди FIFO, и задания в начале очереди запускаются только тогда, когда требуются ресурсы, например. ядра и память, указанные в команде spark-submit, соблюдены.
person blueskyddd    schedule 19.09.2017