Я хочу запланировать мои искровые пакетные задания из Нифи. Я вижу, что есть ExecuteSparkInteractive, который отправляет искровые задания Ливи, но выполняет код, указанный в свойстве или из содержимого файла входящего потока. Как мне запланировать мои искровые пакетные задания из Nifi, а также предпринять различные действия, если пакетное задание завершилось неудачно или успешно?
Apache Nifi - отправка пакетных заданий Spark через Apache Livy
Ответы (1)
Вы можете использовать ExecuteProcess, чтобы запустить команду spark-submit. Но, похоже, вы ищете не инструмент управления DataFlow, а диспетчер рабочих процессов. Два отличных примера для менеджеров рабочих процессов: Apache Oozie и Apache Airflow.
Если вы все еще хотите использовать его для планирования искровых заданий, вы можете использовать GenerateFlowFile должен быть запланирован (на основном узле, поэтому он не будет планироваться дважды - если вы не хотите), а затем подключите его к процессору ExecuteProcess и заставьте его запустить команду spark-submit.
Для более сложного рабочего процесса я написал статью о :) Надеюсь, это поможет.
person
Ben Yaakobi
schedule
18.02.2019
Хорошая статья. Я уже сделал это несколько месяцев назад, и мой подход похож на ваш. Я написал специальный процессор для присоединения на основе условий.
- person Apurba Pandey; 26.03.2019
