Заполнение отсутствующих точек данных в потоке данных Azure

Мы работаем над созданием конвейера ETL с использованием потоков данных Azure.

Наше требование здесь - заполнить недостающие точки данных (добавить строки по мере необходимости) и данные для копирования из предыдущей доступной точки данных (при сортировке по ключевым столбцам).

Пример -

Если входные данные:

введите описание изображения здесь

Результат должен быть таким:

введите описание изображения здесь

Строки, выделенные зеленым цветом, содержат значения, скопированные из предыдущих доступных ключевых столбцов (имя, год и период).

Любая идея, как я могу добиться того же в потоке данных Azure.


person akash sharma    schedule 10.06.2021    source источник
comment
Сможет ли заполнить это за вас? docs.microsoft.com/en- us / azure / data-factory /   -  person Mark Kromer MSFT    schedule 10.06.2021


Ответы (1)


Вы можете использовать комбинацию функции mapLoop, чтобы генерировать годы + кварталы в 1 столбце. Затем сгладьте tx, чтобы получить таблицу лет + кварталы. Затем оставьте внешнее соединение этой таблицы с исходной таблицей.

У вас будут итоговые таблицы с нулями для отсутствующих кварталов. Затем используйте метод заполнения для заполнения значений (это работает только для небольших данных)

person Kiran-MSFT    schedule 11.06.2021