Я выполнил задание копирования фабрики данных, которое должно копировать файлы JSON из хранилища BLOB-объектов в JSON в Azure Data Lake Gen 2. Я сделал несколько других заданий копирования, которые работают, но не из json в json раньше, и в этом случае Я получаю сообщение об ошибке:
Код ошибки: 2200. Тип ошибки: проблема конфигурации пользователя. Подробности: полезная нагрузка, включая конфигурации для действия / набора данных / связанной службы, слишком велика. Убедитесь, что у вас есть настройки с очень большим значением, и попробуйте уменьшить его размер.
Я попытался уменьшить размер блока на приемнике, но это только ускорило его сбой, поэтому не уверен, в чем проблема. Файлы json довольно большие и включают выходные данные алгоритмов прогнозирования, поэтому в одном документе json есть как временные ряды, так и параметры модели и другие вещи.
Вот первая часть JSON-скрипта для действия копирования до сопоставлений, если это поможет:
{
"name": "BlobStorage_To_DataLakeG2",
"properties": {
"description": "This job is intended to perform data copies of json-files from blob storage to ADLS gen2 for selected files.",
"activities": [
{
"name": "TotalLoadForecast_ADLSG2_json",
"type": "Copy",
"dependsOn": [],
"policy": {
"timeout": "7.00:00:00",
"retry": 0,
"retryIntervalInSeconds": 30,
"secureOutput": false,
"secureInput": false
},
"userProperties": [],
"typeProperties": {
"source": {
"type": "JsonSource",
"storeSettings": {
"type": "AzureBlobStorageReadSettings",
"recursive": true,
"enablePartitionDiscovery": true,
"partitionRootPath": "totalloadforecastoutput/"
},
"formatSettings": {
"type": "JsonReadSettings"
}
},
"sink": {
"type": "JsonSink",
"storeSettings": {
"type": "AzureBlobFSWriteSettings",
"blockSizeInMB": 4
},
"formatSettings": {
"type": "JsonWriteSettings"
}
},
"enableStaging": false,
"translator": {
"type": "TabularTranslator",
"mappings": [
´´´