Вопросы по теме 'airflow-worker'
Как вывести список запущенных тегов в поде Airflow Worker
У нас есть 3 узла GKE-композитора и 3 рабочих модуля, равномерно распределенных по всем 3 узлам. Мне нужно знать, как проверить, какая группа DAG или задача в данный момент выполняется в каком модуле. Я попытался запустить airflow list_dag, но, как...
70 просмотров
schedule
17.09.2021
Celery Executor и последовательность задач
Я использую обдув с сельдереем. В качестве примера у меня есть даг с 3-мя задачами. задача1 ›› задача2 ›› задача3
Когда мои рабочие узлы = 1, я вижу, что задачи выполняются нормально и в правильной последовательности.
Однако, когда я увеличиваю...
18 просмотров
schedule
21.10.2021
Что произойдет с датчиком воздушного потока, работающим на работнике Celery, если сам рабочий выйдет из строя
Пример использования: в DAG определена задача Rest API (с использованием RestOperator), которая обращается к API приложения и запускает выполнение процесса / задачи, которая выполняет некоторую бизнес-функцию. Статус выполнения отслеживается с...
154 просмотров
schedule
21.02.2022
Как исправить Не удалось получить файл журнала от работника. Ошибка неподдерживаемого протокола URL в журналах Airflow DAG?
Я запускаю Airflow через докер через этот образ. apache/airflow:2.1.0 Пожалуйста, обратитесь к этой теме для начальной ошибка, с которой я столкнулся.
В настоящее время я могу запускать свои предыдущие существующие DAG. Однако, когда я...
380 просмотров
schedule
21.05.2023