Фильтрация импортированного набора данных в фабрике данных Azure

У меня есть файл JSON, который мне нужно отфильтровать, чтобы отображать данные только за последние 2 дня.

Есть ли способ добавить выражение для этого, чтобы я мог поглотить набор данных, содержащий данные за последние 2 дня?

Кроме того, можно ли это сделать с помощью параметра фильтра в конвейере или мне нужно создать поток данных для такого рода проблем?


person mdbuzzer    schedule 02.12.2020    source источник
comment
Я бы использовал для этого поток данных, так как вам нужно будет анализировать / проверять данные внутри файла и, возможно, перемещаться по иерархиям.   -  person Mark Kromer MSFT    schedule 02.12.2020


Ответы (1)


Я согласен с @Mark Kromer, вам следует использовать поток данных. В нем активен фильтр, и это можно сделать проще.

Фильтр должен анализировать / проверять данные внутри файла и, возможно, перемещаться по иерархиям.

Я просто привожу пример фильтрации данных date > "2020-12-01":  введите описание изображения здесь

Фильтр:  введите описание изображения здесь

Предварительный просмотр вывода:  введите описание изображения здесь

Фильтр на основе столбца данных, чтобы сохранить данные за последние 2 дня.

person Leon Yue    schedule 03.12.2020