H2o Количество исполнителей не работает

Я запускаю искрящуюся оболочку следующей командой.

./bin/sparkling-shell --num-executors 4 --executor-memory 4g --master пряжа-клиент

У меня бывает только два исполнителя. Это проблема H2o, YARN или Spark?

Майк


apache-spark hadoop h2o sparkling-water
person uh_big_mike_boi    schedule 13.05.2016    source источник
comment
какую версию газированной и газированной воды вы используете? Также не могли бы вы объяснить, что у меня есть только два исполнителя? Как вы это проверяете?   -  person Mateusz Dymczyk    schedule 14.05.2016
comment
Возможный дубликат как сделать исполнители запускают искровую программу с помощью --num-executors?   -  person Glennie Helles Sindholt    schedule 15.05.2016
comment
@GlennieHellesSindholt, на самом деле, это могло быть больше связано с Spakling Water, к сожалению, из того, что мне сказали мои коллеги. У нас были похожие проблемы, и мы работаем над этим, но мы хотели бы, чтобы OP предоставил нам больше информации.   -  person Mateusz Dymczyk    schedule 15.05.2016
comment
У меня есть только два исполнителя, потому что, когда кластер действительно появляется, распечатка IP-адресов, которая появляется на экране, показывает только два IP-адреса. Похоже на полностью исправный двухузловой кластер.   -  person uh_big_mike_boi    schedule 17.05.2016

Ответы (2)


arrow_upward
1
arrow_downward

У такого поведения может быть несколько причин.

YARN может предоставить вам только количество исполнителей в зависимости от доступных ресурсов (памяти, виртуальных ядер). Если вы просите большего, чем у вас есть ресурсы, он даст вам максимум того, что может.

Это также может быть случай, когда у вас включено динамическое размещение. Это означает, что Spark будет создавать новых исполнителей, когда они будут нужны.

Чтобы решить некоторые технические проблемы в Sparkling Water, нам нужно обнаружить всех доступных исполнителей в начале приложения, создав искусственные вычисления и попытавшись использовать весь кластер. Это также может дать вам меньше исполнителей.

Я бы посоветовал посмотреть https://github.com/h2oai/sparkling-water/blob/master/doc/tutorials/backends.rst, где вы можете узнать больше о параграфе выше и о том, как решить эту проблему с помощью так называемого внешнего бэкэнда газированной воды.

Вы также можете посмотреть здесь https://github.com/h2oai/sparkling-water/blob/master/doc/configuration/internal_backend_tuning.rst. Это руководство по настройке конфигурации газированной воды.

Куба

person Jakub Háva    schedule 08.11.2017

arrow_upward
0
arrow_downward

Я решил проблему, изменив следующие четыре значения в диспетчере cloudera

Setting                                  Value
yarn.scheduler.maximum-allocation-vcores 8  
yarn.nodemanager.resource.cpu-vcores     4 
yarn.nodemanager.resource.cpu-vcores     4 
yarn.scheduler.maximum-allocation-mb     16 GB
person uh_big_mike_boi    schedule 16.05.2016