Вопросы по теме 'airflow-scheduler'
Как запустить одну задачу воздушного потока и все ее зависимости?
Я подозревал, что
airflow run dag_id task_id execution_date
будет запускать все восходящие задачи, но это не так. Он просто выйдет из строя, когда увидит, что не все зависимые задачи запущены. Как я могу запустить конкретную задачу и все ее...
8935 просмотров
schedule
14.09.2021
Airflow DAG не планируется
Я новичок в Airflow и создал свой первый DAG. Вот мой код DAG. Я хочу, чтобы DAG запускался сейчас, а затем запускался один раз в день.
from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from datetime import...
4469 просмотров
schedule
27.11.2021
Apache Airflow не планирует задачи
Я установил apache-airflow (версия v1.9.0) вместе с python 2.7. Чтобы проверить, правильно ли он установлен, я попытался запустить учебный DAG из интерактивного представления в браузере. Интерфейс показывает, что группа DAG работает, но планировщик...
1786 просмотров
schedule
23.11.2021
Даг обратной засыпки воздушного потока не работает до заданной даты окончания
У меня есть резервный DAG, который планируется запускать ежегодно с 01.01.2012 по 01.01.2018, но он работает только с 01.01.2012 по 01.01.2017. Почему это не работает до 01.01.2018 и как заставить его работать до 2018 года.
Вот код, который я...
758 просмотров
schedule
12.09.2021
Политика воздушного потока: как ее определить и настроить?
Я пытаюсь определить политику воздушного потока, но я потерялся, и документации не так много. Я создаю файл внутри $ HOME_AIRFLOW / config с именем airflow_settings.py. Внутри у меня есть политика, которая пытается изменить очередь невыполненной...
195 просмотров
schedule
23.10.2021
Airflow DAG не работает по расписанию
Airflow DAG не запускается. DAG планируется запускать каждое воскресенье в 15:15 UTC.
DAG работал хорошо во время теста, но тот же DAG не запускался (не запускался) в производственной среде. Приведенный ниже код был запланирован для запуска 9...
451 просмотров
schedule
25.10.2021
Простые задачи Airflow без логов с небольшим параллелизмом LocalExecutor (работал с SequentialExecutor)
Запущенный dag airflow (v1.10.5), который нормально работал с SequentialExecutor , теперь имеет много (хотя и не все) простых задач, которые не работают без какой-либо информации журнала при работе с LocalExecutor и минимальным параллелизмом,...
851 просмотров
schedule
04.10.2021
Планировщик воздушного потока не запускается с помощью исполнителя kubernetes
Я использую https://github.com/helm/charts/tree/master/stable/airflow helm chart и построил образ v1.10.8 puckle/docker-airflow с установленными на нем кубернетами и использовал этот образ в Helm Chart, но я продолжаю получать
File...
1388 просмотров
schedule
09.09.2021
Планирование Airflow DAG
Как я могу запланировать мой Airflow DAG на «Последний день месяца» и «Последний рабочий день месяца»
Примечание. При составлении расписания следует учитывать, есть ли в месяце 28/29/30/31 дней и является ли это високосным годом или нет.
152 просмотров
schedule
05.10.2021
Как запустить задачу Airflow только при наличии нового раздела / данных в таблице AWS athena с использованием DAG в Python?
У меня есть сценарий, как показано ниже:
Запускайте Task 1 и Task 2 только тогда, когда для них доступны новые данные в исходной таблице (Афина). Триггер для Task1 и Task2 должен происходить при новом разделении данных за день.
Запускать...
719 просмотров
schedule
24.10.2021
Как работает перенастройка режима в датчиках воздушного потока?
У меня есть датчик Http Airflow, который вызывает конечную точку REST и проверяет определенное значение в структуре JSON, возвращаемой API.
sensor = HttpSensor(
soft_fail=True,
task_id='http_sensor_check',
http_conn_id='http_default',...
710 просмотров
schedule
12.10.2021
У меня есть существующий кластер EMR в AWS. Я хочу запустить даг от воздушного потока к существующему кластеру aws
У меня есть машина воздушного потока с версией apache-airflow == 1.10.5. Я знаю, как запустить даг, который автоматически создает кластер, запускает шаг и завершает кластер. Используя соединения в пользовательском интерфейсе воздушного потока, я...
581 просмотров
schedule
04.02.2022
Удалить журналы планировщика воздушного потока
Я использую Docker Apache airflow ВЕРСИИ 1.9.0-2 ( https://github.com/puckel/docker-airflow ).
Планировщик создает значительное количество журналов, а файловая система быстро исчерпывает пространство, поэтому я пытаюсь программно удалить журналы...
13031 просмотров
schedule
01.03.2022
Как запланировать задачи DAG после срабатывания DAG?
Я использую TriggerDagRunOperator, чтобы одна группа DAG контроллера могла запускать целевую группу DAG. Однако после того, как DAG контроллера запускает целевую группу DAG, целевая группа DAG переключается в состояние «работает», но ни одна из ее...
100 просмотров
schedule
26.02.2022
Динамический schedule_interval в Airflow
Я пытаюсь запустить динамический schedule_interval в Airflow, как показано ниже. Но работает только при ручном запуске дага. Не могли бы вы помочь мне сказать, если динамический schedule_interval может быть причиной, почему dag не запускается...
510 просмотров
schedule
04.03.2022
Почему Airflow Scheduler работает только как не-демонический процесс, но не работает как демон-процесс?
Я настроил воздушный поток на сервере Ubuntu. Я просто запустил веб-сервер как демон. Я могу запустить планировщик, используя
airflow scheduler
и работает нормально и даги бегают. Затем я останавливаю его и удаляю все файлы планировщика...
703 просмотров
schedule
13.03.2022
В dag добавлена новая задача Airflow Backfill
Допустим, сегодня 2017-10-20. У меня есть даг, который работает до сих пор. Мне нужно добавить задачу с start_date 01.10.2017. Как сделать так, чтобы планировщик запускал задачу с 01.10.2017 по 20.10.2017 автоматически?
4030 просмотров
schedule
27.03.2022
Невозможно запустить Airflow DAG каждый день в определенное время
Я пытаюсь запланировать Airflow DAG, но не могу это сделать. У меня есть действительная дата начала. Я хочу запланировать его запуск каждое утро в 5:30, но последние пару дней мне приходилось запускать его вручную.
Вот как выглядит мой интервал...
45 просмотров
schedule
30.03.2022
Как использовать Airflow для обработки новых данных?
мы хотим использовать Airflow для пакетной обработки новых данных, во-первых, наш dag запускает команду, чтобы проверять нашу CRM-систему, есть ли новые данные каждые 15 минут, а затем переносить новые данные в две другие системы, так что это примерно...
216 просмотров
schedule
07.04.2022
Как получить пользователя Airflow, который вручную запускает DAG?
В пользовательском интерфейсе Airflow одним из событий журнала, доступных в разделе «Браузер> Журналы», является событие «Триггер» вместе с идентификатором DAG и владельцем / пользователем, который ответственен за запуск этого события. Легко ли...
812 просмотров
schedule
03.04.2022
