Флинк на пряжи использовать пряжу-сессию или нет?

Есть два метода развертывания приложений flink на yarn. Первый - это использование yarn-session, и все приложения flink развертываются в этом сеансе. Второй метод - каждое приложение flink развертывается на yarn как приложение yarn.

У меня вопрос: в чем разница между этими двумя методами? Что выбрать в продуктовой среде?

Я не могу найти никаких материалов по этому поводу.

Я думаю, что первый способ сэкономит ресурсы, так как нужен только один менеджер по работе (мастер приложения пряжи). Хотя это также и недостаток, поскольку единственный менеджер заданий может быть узким местом, в то время как приложений flink становится все больше и больше.


person Longxing Wei    schedule 13.09.2018    source источник


Ответы (1)


Оба режима находят применение в производственной среде.

Режим сеанса обычно имеет смысл, когда вы будете выполнять кучу краткосрочных заданий и хотите избежать накладных расходов на запуск кластера для каждого из них. С другой стороны, есть проблемы с безопасностью, так как любые учетные данные, доступные для любого из заданий, будут доступны для всех заданий. Режим кластера на задание может использовать больше ресурсов в целом, но в некотором смысле он более простой.

person David Anderson    schedule 14.09.2018
comment
Спасибо. Мне интересно, будет ли менеджер заданий узким местом в режиме сеанса. - person Longxing Wei; 20.09.2018
comment
Получили ли вы ответ на этот вопрос ?. Я пытался использовать режим сеанса для отправки ~ 100 пакетных заданий. Похоже, менеджер по работе перегружен и убивает себя. Похоже, что режим сеанса предназначен только для небольшого количества заданий. - person joss; 16.08.2020