Как вывести список запущенных тегов в поде Airflow Worker

У нас есть 3 узла GKE-композитора и 3 рабочих модуля, равномерно распределенных по всем 3 узлам. Мне нужно знать, как проверить, какая группа DAG или задача в данный момент выполняется в каком модуле. Я попытался запустить airflow list_dag, но, как мне кажется, он показывает все dags. Мне просто нужно знать, какой даг в каком поде работает. Можно ли перемещать контейнер с одного узла на другой. Иногда мои поды неравномерно распределяются по всем 3 узлам.


google-cloud-composer airflow-worker
person dhanabalan Rangasamy    schedule 12.01.2021    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Есть два способа получить эту информацию из пользовательского интерфейса Airflow:

  • Вы можете перейти в Обзор - ›Экземпляры задач и получить имя хоста, чтобы узнать, на каком работнике выполняется задача. Вы также можете применять фильтры и т. Д.

  • Или вы можете перейти в Профилирование данных, чтобы запустить Ad Hoc Query, например следующий:

SELECT dag_id, task_id, state, hostname 
FROM task_instance
WHERE state = "running"
person vdolez    schedule 20.01.2021