Вопросы по теме 'azure-data-flow'
Пропуск строк при чтении CSV - фабрика данных Azure
Я пытаюсь скопировать данные из Blob в Azure SQL , используя потоки данных в конвейере. Файлы данных имеют формат csv , а заголовок находится в 4-й строке файла csv. Я хочу использовать заголовок так, как он есть в файле данных csv.
Я...
1766 просмотров
schedule
29.09.2021
фабрика данных azure - ошибка файла источника потока данных
У меня есть поток данных в цикле foreach. Он перебирает txt-файлы с разделителями по конвейеру в хранилище Azure, настроил хранилище как блочный BLOB-объект и использовал управление удостоверениями как способ подключения моего ресурса фабрики данных...
52 просмотров
schedule
15.01.2022
Фильтрация импортированного набора данных в фабрике данных Azure
У меня есть файл JSON, который мне нужно отфильтровать, чтобы отображать данные только за последние 2 дня.
Есть ли способ добавить выражение для этого, чтобы я мог поглотить набор данных, содержащий данные за последние 2 дня?
Кроме того, можно ли...
77 просмотров
schedule
05.03.2022
Проверить схему в источнике и приемнике
Я использую следующий набор данных для тестирования потоков данных сопоставления: https://github.com/fivethirtyeight/data/tree/master/avengers .
Мой поток данных очень прост; Источник (файл с разделителями в AzureDataLakeStorageGen2),...
115 просмотров
schedule
11.03.2022
Потоки данных ADF не завершаются в режиме отладки
Я создаю конвейеры на фабрике данных Azure, используя действие Mapping Data Flow (Azure SQL DB to Synapse). Конвейеры завершаются в режиме отладки, когда я включаю выборку данных для источников. Когда я отключаю выборку данных и запускаю отладку, я...
504 просмотров
schedule
10.04.2022
Можем ли мы автоматизировать ETL в Azure?
В настоящее время я работаю над очень интересным проектом ETL с использованием Azure для преобразования моих данных вручную. Однако преобразование данных вручную может быть утомительным и длительным, когда у меня появляется несколько исходных файлов...
69 просмотров
schedule
25.04.2022
Может ли поток данных сопоставления использовать параметризованный набор данных Parquet?
спасибо, что зашли.
Я пытаюсь разработать поток данных сопоставления в рабочем пространстве Azure Synapse (поэтому я считаю, что это также можно применить к ADFv2), который принимает ввод Delta и преобразует его прямо в вывод в формате Parquet, с...
63 просмотров
schedule
24.04.2022
Поток данных ADF не дает результатов запроса космоса с параметрами
Отказ от ответственности: я новичок в разработке Azure
В параметре «Поток данных в источнике» фабрики данных Azure, когда я жестко запрограммировал строку даты и использовал ниже запрос, он дает результаты, ожидаемые для cosmos DB.
“select...
73 просмотров
schedule
14.05.2022
Превратите 1 строку в несколько строк в потоках данных Azure
У меня есть набор данных по строкам:
Account No
P01_Ind
P02_Ind
P03_Ind
1
Y
Y
N
2
Y
N
Y
3
N
Y
N
Есть ли способ добавить преобразование в потоки данных Azure, чтобы каждая строка...
121 просмотров
schedule
08.07.2022
Использование сопоставления потоков данных в рамках каждого действия конвейера фабрики данных Azure
Сценарий : у меня есть сетевые изменения SQL DB CDC, поступающие в файл csv. В конвейере для каждой строки в файле CSV необходимо проверить наличие обновлений, вставок и удалений, а также внести некоторые изменения в мою базу данных хранилища....
464 просмотров
schedule
26.02.2023
Фабрика данных Azure - Поток данных - Проблема с производным столбцом
Я использую Azure DataFlow - DerivedColumn для создания новых столбцов.
Ex:
это мой источник и я могу предварительно просмотреть данные.
Но из DerivedColumn1 я не вижу этот столбец или даже в редакторе выражений
Редактор выражений:...
385 просмотров
schedule
04.05.2023
Как проверить поле даты в потоках сопоставления фабрики данных Azure в условном операторе разделения
Поля исходной даты, поступающие в мой поток, выглядят как обычная дата в формате ГГГГ-ММ-ДД. Я хотел бы использовать оператор условного разделения, чтобы проверить, можно ли преобразовать конкретный столбец в столбец даты.
Я пытался использовать...
98 просмотров
schedule
12.03.2023
Можно ли каким-либо образом записывать журналы активности потока данных ADF?
Я пытался зарегистрировать информацию об активности потока данных, используя объект вывода активности потока данных, который имеет ключ с именем «метрики», который содержит «RowsRead» и «RowsWritten», но иногда, когда активность потока данных...
66 просмотров
schedule
11.04.2023
Как настроить потоки данных сопоставления Azure с переменным количеством столбцов в файле CSV?
Я создаю поток данных сопоставления, используя CSV, в котором количество полей в строке не фиксировано. По значению в конкретном поле я могу сказать, сколько полей будет в строке.
У меня есть пример файла, в котором в первой строке 19 полей....
18 просмотров
schedule
17.04.2023
Фабрика данных Имя файла приемника потока данных
У меня есть поток данных, который объединяет несколько файлов с разделителями каналов в один файл и сохраняет его в контейнере BLOB-объектов Azure. Я использую шаблон файла для имени выходного файла concat ('myFile' + toString (currentDate ('PST')),...
94 просмотров
schedule
25.01.2023
Заполнение отсутствующих точек данных в потоке данных Azure
Мы работаем над созданием конвейера ETL с использованием потоков данных Azure.
Наше требование здесь - заполнить недостающие точки данных (добавить строки по мере необходимости) и данные для копирования из предыдущей доступной точки данных (при...
38 просмотров
schedule
13.07.2023
Как извлечь данные в формате дд-мм-гггг из строкового столбца в потоке данных Azure?
У меня есть набор данных, который содержит даты и строку. Я хочу извлечь дату, а затем сохранить ее в столбце date и строку в столбце task . Я использую поток данных Azure для преобразования данных.
regexExtract({Finish Date Activity},...
202 просмотров
schedule
03.02.2024
