Фабрика данных Azure: время начала и окончания конвейеров расписания

У меня есть конвейеры в Azure DataFactory, которые планируется запускать ежечасно. Поскольку у каждой задачи расписания будет время начала и время окончания (например, с 1:00 до 2:00) для копирования файлов в течение этого интервала. Я хотел бы знать, если старая задача будет переполнена, например, завершение в 2:15, каково будет поведение следующей задачи? (а) запущенная задача со временем начала и окончания с 2:00 до 4:00 (б) запущенная задача с временем начала и временем окончания с 3:00 до 4:00

Моя цель - убедиться, что нет недостающих копируемых файлов.


azure azure-data-factory azure-data-factory-pipeline
person DaiKeung    schedule 02.03.2021    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Я проверил это в своем АПД.

Вывод: статус предыдущего конвейера не повлияет на время начала следующей задачи. Итак, в вашем случае, если предыдущий конвейер начался в час ночи и закончился в 2:15, ваша следующая задача все равно начнется в 2 часа ночи.

Мой тест: я создаю триггер расписания, который запускается каждые 3 минуты. Мой трубопровод идет около 6 мин.

введите описание изображения здесь

Отслеживайте запуски конвейера и запуски триггеров: введите описание изображения здесь

введите описание изображения здесь

Моя первая задача заканчивается 21.03.21, 15:32:41, а следующая начинается 21.03.17, 15:30:00. Таким образом, если старая задача будет переполнена, это не повлияет на время запуска следующей задачи.

person Steve Zhao    schedule 04.03.2021