Как получить параметры, которые я передаю в команде spark-submit в python

Я использую команду spark-submit для запуска кода Python с помощью pyspark.

Что-то типа:

spark-submit --master yarn --num-executors 15 --executor-cores 6 test.py

Есть ли способ получить параметры, которые я использую в команде spark-submit в python, например, получить 15 и 6 в качестве переменных, и если я использую другие числа, получу эти числа.


person Dan R    schedule 11.06.2019    source источник
comment
Вы пробовали import os и искали os.environ['PYSPARK_SUBMIT_ARGS'] ?   -  person pault    schedule 11.06.2019
comment
Возможный дубликат Можно ли получить текущие настройки контекста искры в PySpark?   -  person pault    schedule 11.06.2019