В настоящее время я использую фабрику данных для массового копирования сущностей из Dynamics 365 в озеро данных Azure. Сущности сохраняются в виде файлов CSV в Data Lake каждые 24 часа.
Вместо массового копирования я хотел бы усечь объекты до новых данных и добавить их к файлам, которые уже существуют в озере данных.
Я думаю, что это обычная операция для баз данных SQL, но можно ли это сделать между Dynamics 365 и Data Lake?
Вы можете добавить фильтр к своим запросам, чтобы получать те записи, которые были изменены в течение последних 24 часов.
Кроме того, вы можете настроить Dynamics для репликации своих данных во внешнюю базу данных SQL.
Реплицировать данные в Azure База данных SQL
Хранилище Azure Data Lake Gen2 в качестве типа источника поддерживает только три режима копирования.
Я попробовал три варианта поведения, все они не помогли вам добавить файлы к уже существующим в озере данных файлам. Если вы выберете существующий файл, когда активная копия будет завершена, существующий файл будет перезаписан.
Для получения более подробной информации вы можете ссылаться на: Хранилище Azure Data Lake Gen2 в качестве типа источника.
Это невозможно сделать между Dynamics 365 и Data Lake с фабрикой данных Azure.
Спасибо за то, что Джеймс Вуд предоставил нам хорошее решение. И объедините мой ответ и его, проблема будет решена.
Надеюсь это поможет.
