как выбрать между DataprocWorkflowTemplateInstantiateOperator и Bashoperator для создания экземпляра шаблона рабочего процесса dataproc из композитора

У меня есть вариант использования, когда мне нужно выполнить шаблон рабочего процесса dataproc из композитора. Я использую набор команд gcloud для создания и создания экземпляра шаблона рабочего процесса. Теперь я хочу реализовать его из композитора, поэтому у меня есть два варианта, которые можно использовать для реализации: -использовать bashoperator для запуска командного файла команд gcloud -Создать шаблон, а затем использовать DataprocWorkflowTemplateInstantiateOperator для создания экземпляра

Мне нужно знать, какой подход рекомендуется и почему?


person Aditi kaushal    schedule 02.02.2021    source источник


Ответы (1)