Я немного борюсь с этими вставками TTL в космос db фабрикой данных лазурного:
Требование: источник: паркетные файлы ADLS Gen2 (не csv, должны быть паркетные). Цель: COMSMOS DB необходимо добавить все записи из файлов пакетов в Comsmos DB с дополнительной парой значений имени, например: ttl: 7776000 бизнесу нужна каждая запись в cosmos db. для 90 дней существует настройка TTL на уровне контейнера на 2 года, однако для записей из паркета ADLS его нужно было установить на уровне элемента только на 90 дней.
здесь некоторые ограничения:
- Поток данных нельзя использовать, потому что он не поддерживает автономную среду выполнения интеграции, а безопасность использования Azure IR не одобрена моей компанией.
- не может использовать другие компоненты, такие как Synapse или SQL-сервер, в качестве промежуточного сервера.
- не может использовать блокнот с данными.
- Столбец ttl отсутствует в паркетном файле, он должен быть добавлен во время копирования.
поэтому я пытаюсь использовать дополнительные столбцы, как предлагает https://docs.microsoft.com/en-us/azure/data-factory/copy-activity-overview#add-additional-columns-during-copy вот моя настройка: я добавляю параметр в конвейер, он установлен как тип данных int. введите описание изображения здесь добавьте дополнительный столбец в источник: введите описание изображения здесь сопоставление следующим образом: введите описание изображения здесь
поэтому ADF выдаст ошибку: свойство документа 'ttl' не должно быть нецифрового типа, если оно есть. Source = Microsoft.DataTransfer.DocumentDbManagement
Я пробовал все способы перевести ttl в целочисленный тип данных, но тщетно. Я чувствую, что Azure меняет тип данных на строковый для всех «дополнительных столбцов», даже если вы установите его как int.
Пожалуйста, помогите всем, что возможно, я могу вставить TTL как int в cosmos DB, большое вам спасибо!
