Я использую команду spark-submit для запуска кода Python с помощью pyspark.
Что-то типа:
spark-submit --master yarn --num-executors 15 --executor-cores 6 test.py
Есть ли способ получить параметры, которые я использую в команде spark-submit в python, например, получить 15 и 6 в качестве переменных, и если я использую другие числа, получу эти числа.
import os
и искалиos.environ['PYSPARK_SUBMIT_ARGS']
? - person pault   schedule 11.06.2019