Невозможно добавить новую службу с помощью Cloudera Manager в Cloudera Quickstart VM 5.3.0

Я использую Cloudera Quickstart VM 5.3.0 (работает в Virtual Box 4.3 в Windows 7) и хотел изучить Spark (на YARN).

Я запустил Cloudera Manager. В сайдбаре вижу все сервисы, есть Spark но в автономном режиме. Поэтому я нажимаю «Добавить новую услугу», выбираю «Spark». Затем мне нужно выбрать набор зависимостей для этой службы, у меня нет выбора, я должен выбрать HDFS/YARN/zookeeper. Следующим шагом мне нужно выбрать сервер истории и шлюз. Я запускаю виртуальную машину в локальном режиме, поэтому я могу выбрать только локальный хост.

Я нажимаю «Продолжить», и возникает эта ошибка (+ 69 следов):

Произошла ошибка сервера. Отправьте следующую информацию в Cloudera.

Путь: http://localhost:7180/cmf/clusters/1/add-service/reviewConfig

Версия: Cloudera Express 5.3.0 (№ 155, созданный jenkins на git 20141216-1458: e9aae1d1d1ce2982d812b22bd1c29ff7af355226)

org.springframework.web.bind.MissingServletRequestParameterException: Обязательный длинный параметр «serviceId» отсутствует в строке 738 AnnotationMethodHandlerAdapter.java в org.springframework.web.servlet.mvc.annotation.AnnotationMethodHandlerAdapter$ServletHandlerMethodInvoker raiseMissingParameterException()

Я не знаю, нужно ли подключение к Интернету, но я точно знаю, что не могу подключиться к Интернету с помощью виртуальной машины. (EDIT: даже при подключении к Интернету я получаю ту же ошибку)

У меня нет идей, как добавить эту службу, я пробовал со шлюзом или без него, много сетевых параметров, но это никогда не работало. Я проверил известные проблемы; ничего...

Кто-то знает, как я могу решить эту ошибку или как я могу обойти? Спасибо за любую помощь.


apache-spark cloudera cloudera-quickstart-vm cloudera-manager
person Julien Navarre    schedule 30.03.2015    source источник
comment
ты дважды щелкнул? сообщество. cloudera.com/t5/Cloudera-Manager-Installation/   -  person Donal    schedule 02.04.2015
comment
Хотел бы я... К сожалению, это не из-за двойного щелчка.   -  person Julien Navarre    schedule 02.04.2015

Ответы (1)


arrow_upward
2
arrow_downward

Жюльен,

Прежде чем я отвечу на ваш вопрос, я хотел бы сделать несколько общих замечаний о Spark в Cloudera Distribution of Hadoop 5 (CDH5):

  1. Spark работает в трех разных форматах: (1) локальный, (2) собственный автономный менеджер Spark и (3) другие менеджеры ресурсов кластера, такие как Hadoop YARN, Apache Mesos и Amazon EC2.
  2. Spark готов к работе с CHD 5 для (1) и (2). Вы можете инициировать локальный интерактивный сеанс spark в Scala с помощью команды spark-shell или pyspark для Python без передачи каких-либо аргументов. Я считаю, что интерактивные интерпретаторы Scala и Python помогают научиться программировать с помощью устойчивых распределенных наборов данных (RDD).

Мне удалось воссоздать вашу ошибку в моем дистрибутиве CDH 5.3.x. Я не хотел брать на себя ответственность за обнаруженную вами ошибку, но Я отправил сообщение сообществу разработчиков Cloudera для получения отзыва.

Чтобы использовать Spark в псевдораспределенной среде QuickStart, проверьте, запущены ли все демоны Spark, с помощью следующей команды (это можно сделать в пользовательском интерфейсе Cloudera Manager (CM):

[cloudera@quickstart simplesparkapp]$ sudo service --status-all | grep -i spark
Spark history-server is not running                        [FAILED]
Spark master is not running                                [FAILED]
Spark worker is not running                                [FAILED]

Я вручную остановил все автономные службы Spark, чтобы мы могли попытаться отправить задание Spark в Yarn.

Чтобы запустить Spark внутри контейнера Yarn в кластере быстрого запуска, нам нужно сделать следующее:

  1. Установите HADOOP_CONF_DIR в корень каталога, содержащего файл конфигурации yarn-site.xml. Обычно это /etc/hadoop/conf в CHD5. Вы можете установить эту переменную с помощью команды export HADOOP_CONF_DIR="/etc/hadoop/conf".
  2. Submit the job using spark-submit and specify you are using Hadoop YARN.

    spark-submit --class CLASS_PATH --master yarn JAR_DIR ARGS

  3. Проверьте статус задания в Hue и сравните с сервером Spark History. В Hue должно отображаться задание, размещенное в универсальном контейнере Yarn, а в истории Spark не должно быть записей об отправленном задании.
References used:

person Myles Baker    schedule 08.04.2015