Раньше у меня был параметр конвейера LookBack со статическим значением по умолчанию -1. Затем в дочерних конвейерах / действиях это преобразовано в
@adddays(utcnow(), pipeline().parameters.lookback)
Вместо сегодняшнего дня вычтите -1, чтобы получить дату, которая затем передается в сценарий U-SQL.
Это создает проблемы, когда мы выполняем повторную / обратную обработку и время обработки пересекает время UTC, перескакивая на 1 день вперед.
Чтобы сделать планирование более надежным, я настроил конвейер верхнего уровня, чтобы он принимал поле DateTime типа string, которое передается дочерним конвейерам / действиям и сценариям для явного расписания.
@pipeline().parameters.processDate
Трубопровод верхнего уровня работает по стандартному графику, который запускается каждый день около 5 утра. Как передать этот график DateTime в конвейер верхнего уровня, когда параметры конвейера не предлагают динамические значения, а только статическое значение по умолчанию.
В идеале я бы хотел, чтобы значением по умолчанию было Schedule DateTime
@trigger().scheduledTime. Затем передайте в конвейер как параметр. Пример можно найти в документации (docs.microsoft.com/en-us/azure/data-factory/). - person Kyle Bunting schedule 30.11.2020