Как заставить подчиненные узлы работать для кластера Spark с помощью EMR?

Я попытался запустить задание на своем кластере Spark с помощью EMR. Кластер состоит из одного ведущего и двух ведомых узлов, и каждый узел (ведущий или ведомый узел) имеет 32 ядра. Задание использовало «Добавить шаг» через консоль, конфигурация указана ниже:

sparkConf.setMaster ("локальный [24]"). set ("spark.executor.memory", "40g") .set ("spark.driver.memory", "40g");

Затем я заметил, что два ведомых устройства не работают (загрузка ЦП близка к 0), усердно работал только мастер. Как мне исправить эту проблему и заставить рабов работать?

Спасибо!


amazon-web-services apache-spark emr
person Edamame    schedule 11.02.2015    source источник

Ответы (2)


arrow_upward
1
arrow_downward

Когда вы указываете «локальный» мастер, это означает, что мастер является локальным - он не распределяется по узлам.

Вы должны следовать документу: http://spark.apache.org/docs/1.2.0/spark-standalone.html

person pzecevic    schedule 11.02.2015
comment
Привет, мне нужно установить sparkConf.setMaster (пряжа-кластер)? Или ничего не настраивайте, и ./bin/spark-submit --master yarn-cluster позаботится об этом? Спасибо! - person Edamame; 12.02.2015
comment
Не используйте sparkConf.setMaster. Используйте аргумент --master yarn-cluster - person pzecevic; 13.02.2015

arrow_upward
1
arrow_downward

Я только недавно начал работать со Spark над EMR, но нашел эти примеры чрезвычайно полезны для запуска / настройки кластера и отправки заданий Spark.

person Timothy Perrigo    schedule 11.02.2015
comment
Привет, вам нужно выполнить какую-либо настройку кластера EMR, например Spark. apache.org/docs/1.2.0/spark-standalone.html? Спасибо! - person Edamame; 12.02.2015
comment
Загрузочная программа EMR для Spark (github.com/awslabs/ emr-bootstrap-actions / blob / master / spark /) настраивает все необходимое для запуска Spark на YARN. Не используйте автономный режим в EMR. Просто установите --master для пряжи-клиента или пряжи-кластера в зависимости от ваших потребностей. - person ChristopherB; 14.02.2015