Сценарий Apache Spark-ec2: ОШИБКА Неизвестная версия Spark. Не работает init.sh?

Я хочу запустить инстанс AWS EC2 с помощью скрипта spark-ec2. Я получаю эту ошибку:

Initializing spark
--2016-11-18 22:33:06--  http://s3.amazonaws.com/spark-related-packages/spark-1.6.3-bin-hadoop1.tgz
Resolving s3.amazonaws.com (s3.amazonaws.com)... 52.216.1.3
Connecting to s3.amazonaws.com (s3.amazonaws.com)|52.216.1.3|:80... connected.
HTTP request sent, awaiting response... 404 Not Found
2016-11-18 22:33:06 ERROR 404: Not Found.
ERROR: Unknown Spark version

Локально установленная искра получена из spark-1.6.3-bin-hadoop2.6.tgz, поэтому установка не должна пытаться получить доступ к spark-1.6.3-bin-hadoop1.tgz. В init.sh эта искровая версия будет установлена, когда HADOOP_MAJOR_VERSION==1 :

      if [[ "$HADOOP_MAJOR_VERSION" == "1" ]]; then
    wget http://s3.amazonaws.com/spark-related-packages/spark-$SPARK_VERSION-bin-hadoop1.tgz
  elif [[ "$HADOOP_MAJOR_VERSION" == "2" ]]; then
    wget http://s3.amazonaws.com/spark-related-packages/spark-$SPARK_VERSION-bin-cdh4.tgz
  else
    wget http://s3.amazonaws.com/spark-related-packages/spark-$SPARK_VERSION-bin-hadoop2.4.tgz
  fi
  if [ $? != 0 ]; then
    echo "ERROR: Unknown Spark version"
    return -1

Проблемы:

-- На http://s3.amazonaws.com/spark-related-packages, так что это основная причина сбоя установки spark.

--HADOOP_MAJOR_VERSION, кажется, устанавливается в 1 во время установки, хотя мои установки имеют версию Hadoop 2.x, что приводит к описанной выше проблеме.

--spark_ec2.py извлекает последнюю версию spark-ec2 из github во время установки, поэтому я не вижу возможного локального исправления. Я не чувствую себя уверенно, разветвляя и взламывая этот скрипт прямо из github.

Есть идеи, как это исправить?