Spark на DC/OS не удается восстановить потоковую передачу с контрольной точки

У меня есть потоковое задание, которое выполняется на DC/OS на AWS. Когда я запускаю задание в первый раз и указываю папку контрольной точки как AWS S3, все идет хорошо.

После того, как я остановлю его и запущу снова, я ожидаю, что потоковая передача восстановится с контрольной точки, но я получаю следующую ошибку:

ОШИБКА SparkContext: ошибка инициализации SparkContext. java.lang.Exception: spark.executor.extraJavaOptions не может устанавливать параметры Spark (было «-Dspark.mesos.executor.docker.image=mesosphere/spark:1.0.0-1.6.1-2»). Установите их непосредственно в SparkConf или в файле свойств при использовании ./bin/spark-submit.

Я установил восстанавливаемую потоковую передачу, используя пример из https://github.com/apache/spark/blob/master/examples/src/main/scala/org/apache/spark/examples/streaming/RecoverableNetworkWordCount.scala.,

и подключение к S3 для проверки указания с: контрольной точки Spark Streaming на amazon s3

Похоже, что проблема заключается в том, что при воссоздании контекста искры из файла контрольной точки он пытается изменить свойство spark.mesos.executor.docker.image, но я его вообще не устанавливаю.

Моя конфигурация искры довольно проста и выглядит так:

val conf = new SparkConf()
    .setAppName("wattio-pipeline")

Кто-нибудь сталкивался с подобной проблемой.

ОТРЕДАКТИРОВАНО

Я пытался настроить spark conf всеми этими способами:

val conf = new SparkConf()
    .setAppName("wattio-pipeline")
    .setExecutorEnv("SPARK_JAVA_OPTS","")
      .remove("spark.executor.extraJavaOptions")
      .remove("spark.mesos.executor.docker.image")
    //.set("spark.executor.extraJavaOptions","")
    //.set("spark.mesos.executor.docker.image","mesosphere/spark:1.0.0-1.6.1-2")

Но появляется та же ошибка.

ОТРЕДАКТИРОВАНО 2

Я протестировал ту же конфигурацию контрольной точки AWS S3 на своем локальном компьютере для разработки (наша собственная установка стека SMACK), и потоковая передача восстанавливается правильно. Это означает, что есть ошибка в параметрах и свойствах искры DCOS.

Я также зарегистрировал проблему JIRA: https://dcosjira.atlassian.net/browse/DCOS-131