Вопросы по теме 'apache-airflow'
Структура воздушного потока / организация дагов и задач
Мои вопросы :
Какова хорошая структура каталогов для организации ваших дагов и задач? (примеры дагов показывают только пару задач)
В настоящее время у меня есть свои даги в корне папки дагов, а мои задачи в отдельных каталогах, не уверен, как...
13363 просмотров
schedule
12.11.2021
Airflow DAG не планируется
Я новичок в Airflow и создал свой первый DAG. Вот мой код DAG. Я хочу, чтобы DAG запускался сейчас, а затем запускался один раз в день.
from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from datetime import...
4469 просмотров
schedule
27.11.2021
Воздушный поток - получение времени начала прогона
Можно ли узнать фактическое время начала дага в Airflow? Под временем запуска я имею в виду точное время начала выполнения первой задачи дага.
Я знаю, что могу использовать макросы для получения даты выполнения. Если задание выполняется с...
10062 просмотров
schedule
26.09.2021
Как установить apache airflow с github
Проблема : я хочу установить apache-airflow с помощью последней версии Apache-Airflow на Github со всеми зависимостями?
Как я могу это сделать с помощью pip ?
Также безопасно ли использовать это в производственной среде?
3147 просмотров
schedule
20.09.2021
Обратный вызов успеха Airflow DAG
Есть ли элегантный способ определить обратный вызов для успешного события DAG? Я действительно не хочу ставить задачу, которая будет выше всех других задач с on_sucess_callback.
Спасибо!
5864 просмотров
schedule
26.09.2021
Хотите создать задачи воздушного потока, которые находятся ниже по течению от текущей задачи
Я в основном новичок в воздушном потоке.
У меня двухэтапный процесс:
Получить все файлы, соответствующие критериям
Распаковать файлы
Файлы в сжатом виде на полгигаба, а в несжатом - 2 - 3 гига. Я могу легко обрабатывать 20+ файлов за...
849 просмотров
schedule
20.09.2021
Как запустить Apache Airflow DAG от имени пользователя Unix
Я установил Apache Airflow в свой кластер, используя учетную запись root . Я знаю, что это плохая практика, но это всего лишь тестовая среда. Я создал простой DAG:
from airflow import DAG
from airflow.operators.bash_operator import...
7601 просмотров
schedule
01.03.2022
Воздушный поток - дэги не бегают
питон: 27
Я только что установил воздушный поток на новый vm GCP с серверной частью mysql. (sudo pip install apache-airflow и sudo pip install apache-airflow [mysql])
Я не создавал никаких собственных дагов, но пытаюсь запустить примеры, чтобы...
637 просмотров
schedule
26.02.2022
Airflow создает слишком много подключений и дает сбой сервера MySQL RDS
Я использую соединения Airflow для извлечения и обработки данных из экземпляра RDS SQL. Проблема в том, что процесс генерирует более 21 соединения (хотя мой параллелизм установлен на 4 в файле cfg), а ОЗУ перегружается. Я бы не ожидал, что у меня...
2694 просмотров
schedule
22.04.2022
Пользовательский интерфейс администратора Airflow показывает примеры дагов
Я пытаюсь настроить Airflow в своей системе локально. Я использовал:
export AIRFLOW_HOME=~/Documents/Project/airflow
Затем я инициализировал db воздушного потока с помощью
airflow initdb
Затем я запустил веб-сервер воздушного...
1615 просмотров
schedule
02.05.2022
Воздушный поток по умолчанию on_failure_callback
В моем файле DAG я определил функцию on_failure_callback() для публикации Slack в случае сбоя.
Это работает хорошо, если я укажу для каждого оператора в моей DAG: on_failure_callback=on_failure_callback()
Есть ли способ автоматизировать...
21725 просмотров
schedule
31.05.2022
Ошибка при подключении postgres db из воздушного потока
С использованием:
sql_alchemy_conn = db+postgresql://username:[email protected]:5432/airflow выдает ошибку:
sqlalchemy.exc.NoSuchModuleError: не удается загрузить плагин: sqlalchemy.dialects: db.postgresql
и при использовании:...
7767 просмотров
schedule
27.05.2022
Как установить SLA в Airflow?
Я хотел бы установить SLA в операторе датчика. В документации не слишком понятно его использование. Поэтому я провел тест с использованием оператора S3KeySensor, который ищет несуществующий файл. Я установил sla на 30 секунд, я надеялся увидеть...
16636 просмотров
schedule
27.06.2022
Airflow убивает мои задачи через 1 минуту
У меня очень простой DAG с двумя задачами, например:
default_args = {
'owner': 'me',
'start_date': dt.datetime.today(),
'retries': 0,
'retry_delay': dt.timedelta(minutes=1)
}
dag = DAG(
'test DAG',...
2644 просмотров
schedule
26.06.2022
Apache Airflow DAG не может импортировать локальный модуль
Кажется, я не понимаю, как импортировать модули в файл определения DAG воздушного потока apache. Я бы хотел сделать это, например, чтобы иметь возможность создать библиотеку, которая делает объявление задач с аналогичными настройками менее подробным....
26382 просмотров
schedule
30.06.2022
Запустите процесс воздушного потока и веб-сервер воздушного потока от имени пользователя воздушного потока.
Проблема : я настраиваю виртуальную машину Google Compute Engine на GCP с установленным на ней airflow . Сейчас я пытаюсь интегрировать airflow с systemd , следуя инструкциям на...
720 просмотров
schedule
23.07.2022
Как запустить DAG автоматически
Я прочитал этот вопрос и смог успешно запустить DAG с помощью следующей команды airflow backfill -s -1 pipeline , однако это выполняется вручную. Я хотел бы знать, как выполнять мои даги через определенный интервал и автоматически. Я новичок в...
82 просмотров
schedule
30.08.2022
Как включить Subdag в Airflow?
В документе Airflow это упоминается ниже.
"Поддаги должны иметь расписание и быть включены
Несмотря на то, что подчиненные группы запускаются как часть более крупной группы, если для их расписания задано значение «Нет» или «@once», оператор...
1067 просмотров
schedule
30.08.2022
Использовать XCom для обмена данными между классами?
У меня есть следующая DAG, которая выполняет различные методы с классом, предназначенным для процедуры предварительной обработки данных:
from datetime import datetime
import os
import sys
from airflow.models import DAG
from...
788 просмотров
schedule
08.09.2022
Как изменить dag_default_view на веб-сервере Airflow?
В Airflow версии 1.8 было внесено изменение в пользовательский интерфейс, в котором щелчок по DAG приводит к представлению «Дерево» вместо ранее используемого по умолчанию представления «График». Согласно документации, добавление/изменение этой...
2712 просмотров
schedule
18.09.2022
