Вопросы по теме 'azure-data-factory-2'
Копирование активности - значение параметра хранимой процедуры приемника игнорируется
После добавления copy activity и указания используемой хранимой процедуры я хочу добавить параметр хранимой процедуры:
Выполняя действие, я получаю сообщение об ошибке, что для параметра хранимой процедуры projectId не указано значение....
259 просмотров
schedule
04.10.2021
Есть ли настройка интервала опроса для автономной среды выполнения интеграции?
Я использую комбинацию действий поиска и foreach для перебора набора запросов приема данных и их выполнения (причины этого - отдельная обширная тема :)). Поскольку источник данных подключен к частной сети, я подготовил выделенную виртуальную машину...
1215 просмотров
schedule
07.09.2021
Цены фабрики данных Azure за действие
На этой странице написано, что
https://azure.microsoft.com/en-us/pricing/details/data-factory/
PRICE: First 50,000 activity runs—$0.55 per 1,000 runs
Example: copy activity moving data from an Azure blob to an Azure SQL database;
Если...
3252 просмотров
schedule
23.11.2021
Фабрика данных Azure v2 с использованием utcnow () в качестве параметра конвейера
Для контекста в настоящее время у меня есть конвейер фабрики данных v2 с действием ForEach , которое вызывает действие копирования . Действие копирования просто копирует данные с FTP-сервера в контейнер для хранения больших двоичных объектов....
20637 просмотров
schedule
10.10.2021
Загрузка с ADF в DW - Ошибка при загрузке данных в хранилище данных SQL
Я создал конвейер с фабрикой данных Azure, который копирует таблицы из Azure sql в Azure DW (с промежуточным хранилищем больших двоичных объектов), и одна из операций копирования дала мне эту приятную ошибку:
{
"errorCode": "2200",...
915 просмотров
schedule
16.11.2021
ADF - ошибка пакета выполнения служб SSIS 114 - сбой операции Ssis с неожиданным статусом операции: выполняется
При запуске пакета SSIS в ADF, который занимает> +/- 15 минут, я всегда получаю сообщение об ошибке внутри ADF (см. Снимок экрана). Странно то, что когда я смотрю на сам отчет о выполнении в каталоге служб интеграции, статус все еще выполняется и в...
368 просмотров
schedule
27.09.2021
Проблема с подключением Управляемый экземпляр Azure и фабрика данных с проверкой подлинности Windows
У меня есть управляемый экземпляр SQL Azure и фабрика данных Azure V2. Теперь я хочу получить соединение с аутентификацией Windows между базой данных SQL и ADF V2. Я добавил пользователя Active Directory с оператором CREATE USER ... FROM EXTERNAL...
654 просмотров
schedule
25.09.2021
Ошибка копирования действия ADF при вставке столбца XML в базу данных SQL Azure
У меня есть несколько файлов в BLOB-объекте Azure, которые содержат 10 столбцов (9 - строки, 1 - XML). В целевой таблице также есть 9 строк и 1 тип данных xml.
При вставке данных я получаю сообщение об ошибке ниже. Если я удалю столбец XML, тогда...
812 просмотров
schedule
08.10.2021
Сохранение вывода активности фильтра
Я создаю конвейер, который фильтрует входные данные из исходной таблицы SQL на основе нескольких столбцов (с использованием действия фильтра), а затем копирует его в таблицу SQL Azure. Но действие копирования ожидает ввода SQL-запроса вместо массива....
382 просмотров
schedule
10.10.2021
Как усечь сущности Dynamics 365 с помощью фабрики данных (и скопировать в озеро данных Azure)?
В настоящее время я использую фабрику данных для массового копирования сущностей из Dynamics 365 в озеро данных Azure. Сущности сохраняются в виде файлов CSV в Data Lake каждые 24 часа.
Вместо массового копирования я хотел бы усечь объекты до...
260 просмотров
schedule
25.09.2021
Преобразование типа данных в фабрике данных Azure
У меня есть этап «Копировать» в конвейере фабрики данных Azure, который копирует данные из файла CSV в MSSQL.
К сожалению, все столбцы в CSV имеют тип данных String . Как я могу изменить эти типы данных, чтобы они соответствовали типу данных в...
3583 просмотров
schedule
09.10.2021
Как настроить выходной путь при копировании данных из Azure Cosmos DB в ADLS Gen 2 через фабрику данных Azure
У меня есть коллекция cosmos DB в следующем формате:
{
"deviceid": "xxx",
"partitionKey": "key1",
.....
"_ts": 1544583745
}
Я использую фабрику данных Azure для копирования...
90 просмотров
schedule
28.09.2021
Периодическая ошибка фабрики данных Azure версии 2 при вызове хранимой процедуры
Запуск фабрики данных Azure v2 с a для каждого цикла с количеством пакетов 4–8. Вызов нескольких хранимых процедур и действия 1 копии. Все цели - это одна и та же База данных SQL Azure. Запуск этой установки в течение ~ 8 месяцев в производстве....
96 просмотров
schedule
05.09.2021
Выражение ADF для преобразования массива в строку, разделенную запятыми
Это кажется довольно простым, но я не могу найти подходящую функцию выражения конвейера для этого.
Я установил переменную массива VAR1 со следующим значением, которое является результатом действия поиска SQL в конвейере ADF:
[
{...
3996 просмотров
schedule
14.11.2021
Поток данных сопоставления фабрики данных Azure добавить номер строки
Я думал, что это будет довольно просто, но я не могу найти простой способ сделать это. Я хочу добавить уникальный номер строки к исходному набору данных в потоке данных сопоставления ADF. В SSIS я бы сделал это с помощью компонента сценария, но,...
1330 просмотров
schedule
25.10.2021
Вставить скопированные данные из XML-файла в Вставить SQL-запрос
У меня есть процесс, в котором я вручную копирую / вставляю все данные из файла .xml и вставляю их в оператор вставки, который помещает данные в одну строку в таблице sql.
Пример XML:
<Data_Export>
<Header>...
241 просмотров
schedule
09.10.2021
Действие GetMetadata фабрики данных Azure
У меня есть активность метаданных в одном из моих конвейеров фабрики данных Azure, и он подключен к озеру данных для получения файлов. Есть ли в фабрике данных Azure какой-либо метод сортировки файлов, доступных в действии метаданных, на основе имени...
947 просмотров
schedule
04.10.2021
Azure datafactory v2 Execute Pipeline с For Each
Я пытаюсь использовать «Выполнить конвейер» для вызова канала с действием ForEach. Я получаю сообщение об ошибке.
Json для канала Execute:
[
{
"name": "pipeline3",
"properties": {
"activities": [...
1339 просмотров
schedule
28.10.2021
Действие DataFlow в Datafactory не поддерживает службу хранилища Azure, а учетная запись с ошибкой получения хранилища ключей является обязательным свойством для AzureBlobStorage.
У нас есть фабрика данных Azure, в которой мы используем активность DataFlow, а для получения данных из большого двоичного объекта мы используем AzureblobStorage. Даже в наборе данных AzurefileSystem это удается.
Мы видим, что он...
43 просмотров
schedule
30.11.2021
Поиск в фабрике данных Azure и для каждого
У меня есть конвейер фабрики данных, в котором я хочу перебирать строки операции поиска SQL. Я сузил запрос до трех столбцов и 500 строк.
Я понимаю, что для ссылки на значение в таблице я использую:...
4901 просмотров
schedule
18.11.2021
