Вопросы по теме 'azure-data-factory-pipeline'
Каков наиболее подходящий способ копирования данных с SQL-сервера в аналитику синапсов Azure
После прочтения Интернета у меня есть два варианта для этого
Скопируйте данные с помощью ADF с сервера SQL в аналитику синапсов Azure.
Скопируйте данные в хранилище BLOB-объектов и оттуда скопируйте данные с помощью внешних таблиц в аналитику...
91 просмотров
schedule
11.09.2021
Запуск фабрики данных Azure в определенный день, избегая WEEKEND
У меня есть конвейер фабрики данных Azure, который должен запускаться 25 числа каждого месяца.
Однако, если 25-е число приходится на выходной день (суббота и воскресенье), то триггер должен срабатывать в пятницу перед выходными.
Я был бы очень...
69 просмотров
schedule
06.09.2021
ADF - элемент ошибок в выходном файле активности - как он читается и оценивается, если существует
У меня в конвейере два действия копирования. Первый выполняется нормально, а второй - неудачно. Когда я просматриваю выходные файлы для каждого из них для первого (успешного), я вижу элемент ошибок следующим образом
"errors": [],...
25 просмотров
schedule
23.09.2021
Необходимо добавить запись заголовка и трейлера в файл csv - фабрика данных Azure
Я новичок в фабрике данных Azure, и мне нужно реализовать приведенную ниже логику с помощью фабрики данных Azure, где мы передаем CSV-файл из источника в место назначения с некоторым преобразованием в файле.
Входной файл содержит следующие данные:...
151 просмотров
schedule
05.02.2022
Фабрика данных Azure: время начала и окончания конвейеров расписания
У меня есть конвейеры в Azure DataFactory, которые планируется запускать ежечасно. Поскольку у каждой задачи расписания будет время начала и время окончания (например, с 1:00 до 2:00) для копирования файлов в течение этого интервала. Я хотел бы...
32 просмотров
schedule
13.03.2022
Код ошибки 2200 - слишком большая полезная нагрузка в задании копирования фабрики данных json из Azure Blob в Azure Data Lake Gen2
Я выполнил задание копирования фабрики данных, которое должно копировать файлы JSON из хранилища BLOB-объектов в JSON в Azure Data Lake Gen 2. Я сделал несколько других заданий копирования, которые работают, но не из json в json раньше, и в этом...
281 просмотров
schedule
20.04.2022
Выполнение конвейера - запрос по фабрике не работает с Webhook
Я использую веб-перехватчик azure datafactory, чтобы получить информацию о конвейерных запусках - запрос по фабрике, используя следующую ссылку. POST...
113 просмотров
schedule
29.04.2022
Могу ли я разделить текст столбца как массив, используя поток данных фабрики данных?
Внутри моего конвейера потока данных я хотел бы добавить производный столбец, а его тип данных — массив. Я хотел бы разделить существующий столбец на 1000 символов, не разбивая слов. Я думаю, мы можем использовать regexSplit,...
1981 просмотров
schedule
20.05.2022
пожалуйста, помогите проблему с вставкой TTL в Comsos DB
Я немного борюсь с этими вставками TTL в космос db фабрикой данных лазурного:
Требование: источник: паркетные файлы ADLS Gen2 (не csv, должны быть паркетные). Цель: COMSMOS DB необходимо добавить все записи из файлов пакетов в Comsmos DB с...
82 просмотров
schedule
11.06.2022
NULL передается из конвейера в связанный сервис baseURL
У меня есть конвейер, который будет перебирать файлы и копировать их в место хранения.
BaseURL и relativeURL хранятся в файле json.
Я могу прочитать в этом файле, и это действительно так.
Я параметризовал связанный сервис baseURL, и это работает...
66 просмотров
schedule
25.09.2022
ADF: динамическое содержимое в параметрах
Я пытаюсь передать текст с динамическим содержимым в качестве параметра в конвейер (выполнить действие конвейера).
В качестве очень простого примера я хочу, чтобы входными данными для моего конвейера была отметка времени, utcnow (). Вот мои...
1463 просмотров
schedule
14.06.2023
Фабрика данных Azure - Хранимая процедура - Код ошибки ActionTimedOut & Details Activity timed out
У меня есть действие хранимой процедуры в конвейере фабрики данных Azure.
Конвейер часто дает сбой из-за тайм-аута активности хранимой процедуры по истечении ~ 01:30:00. Однако сбой конвейера очень часто быстро устраняется самопроизвольным...
129 просмотров
schedule
10.10.2022
Добавление строк в файл Azure Data Lake Gen 1
Я загрузил данные из Oracle в озеро данных Azure первого поколения в формате .txt , используя copy activity . Это полная загрузка.
Теперь я хочу выполнить инкрементную / дельта-загрузку. Как я могу добавить новые строки в тот же файл приемника?...
32 просмотров
schedule
17.07.2023
Копирование данных из Sharepoint в большой двоичный объект в фабрике данных Azure
В фабрике данных Azure мне нужно скопировать данные из файла Excel, который хранится в sharepoint нашей компании. Я прочитал некоторую документацию по этому поводу, однако это кажется более сложным, чем следовало бы, учитывая, что фабрика данных...
231 просмотров
schedule
02.01.2023
Как я могу скопировать всю схему / базу данных в конвейер фабрики данных Azure?
Мне нужно скопировать одну базу данных из моего PostgreSQL в Azure. Я хочу сделать это в ADF. При копировании данных, когда я указываю исходную и целевую базы данных, ADF хочет, чтобы я также указывал имя таблицы. Это не имеет никакого смысла,...
114 просмотров
schedule
21.12.2023
Фабрика данных Azure: отправка электронной почты при сбое конвейера
Я использую веб-активность в своем конвейере. Действие использовалось для отправки электронного письма, если предыдущее действие не удалось.
Я хочу использовать динамическое содержимое в его теле, но он продолжает отправлять строку. Вот...
161 просмотров
schedule
22.02.2024
