Вопросы по теме 'airflow-worker'

Как вывести список запущенных тегов в поде Airflow Worker
У нас есть 3 узла GKE-композитора и 3 рабочих модуля, равномерно распределенных по всем 3 узлам. Мне нужно знать, как проверить, какая группа DAG или задача в данный момент выполняется в каком модуле. Я попытался запустить airflow list_dag, но, как...
70 просмотров

Celery Executor и последовательность задач
Я использую обдув с сельдереем. В качестве примера у меня есть даг с 3-мя задачами. задача1 ›› задача2 ›› задача3 Когда мои рабочие узлы = 1, я вижу, что задачи выполняются нормально и в правильной последовательности. Однако, когда я увеличиваю...
18 просмотров
schedule 21.10.2021

Что произойдет с датчиком воздушного потока, работающим на работнике Celery, если сам рабочий выйдет из строя
Пример использования: в DAG определена задача Rest API (с использованием RestOperator), которая обращается к API приложения и запускает выполнение процесса / задачи, которая выполняет некоторую бизнес-функцию. Статус выполнения отслеживается с...
154 просмотров
schedule 21.02.2022

Как исправить Не удалось получить файл журнала от работника. Ошибка неподдерживаемого протокола URL в журналах Airflow DAG?
Я запускаю Airflow через докер через этот образ. apache/airflow:2.1.0 Пожалуйста, обратитесь к этой теме для начальной ошибка, с которой я столкнулся. В настоящее время я могу запускать свои предыдущие существующие DAG. Однако, когда я...
380 просмотров