Код ошибки 2200 - слишком большая полезная нагрузка в задании копирования фабрики данных json из Azure Blob в Azure Data Lake Gen2

Я выполнил задание копирования фабрики данных, которое должно копировать файлы JSON из хранилища BLOB-объектов в JSON в Azure Data Lake Gen 2. Я сделал несколько других заданий копирования, которые работают, но не из json в json раньше, и в этом случае Я получаю сообщение об ошибке:

Код ошибки: 2200. Тип ошибки: проблема конфигурации пользователя. Подробности: полезная нагрузка, включая конфигурации для действия / набора данных / связанной службы, слишком велика. Убедитесь, что у вас есть настройки с очень большим значением, и попробуйте уменьшить его размер.

Я попытался уменьшить размер блока на приемнике, но это только ускорило его сбой, поэтому не уверен, в чем проблема. Файлы json довольно большие и включают выходные данные алгоритмов прогнозирования, поэтому в одном документе json есть как временные ряды, так и параметры модели и другие вещи.

Вот первая часть JSON-скрипта для действия копирования до сопоставлений, если это поможет:

{
    "name": "BlobStorage_To_DataLakeG2",
    "properties": {
        "description": "This job is intended to perform data copies of json-files from blob storage to ADLS gen2 for selected files.",
        "activities": [
            {
                "name": "TotalLoadForecast_ADLSG2_json",
                "type": "Copy",
                "dependsOn": [],
                "policy": {
                    "timeout": "7.00:00:00",
                    "retry": 0,
                    "retryIntervalInSeconds": 30,
                    "secureOutput": false,
                    "secureInput": false
                },
                "userProperties": [],
                "typeProperties": {
                    "source": {
                        "type": "JsonSource",
                        "storeSettings": {
                            "type": "AzureBlobStorageReadSettings",
                            "recursive": true,
                            "enablePartitionDiscovery": true,
                            "partitionRootPath": "totalloadforecastoutput/"
                        },
                        "formatSettings": {
                            "type": "JsonReadSettings"
                        }
                    },
                    "sink": {
                        "type": "JsonSink",
                        "storeSettings": {
                            "type": "AzureBlobFSWriteSettings",
                            "blockSizeInMB": 4
                        },
                        "formatSettings": {
                            "type": "JsonWriteSettings"
                        }
                    },
                    "enableStaging": false,
                    "translator": {
                        "type": "TabularTranslator",
                        "mappings": [
´´´

person JonJagd    schedule 04.02.2021    source источник


Ответы (1)


Похоже, что проблема была вызвана параметром enablePartitionDiscovery: true. Установка значения false сделала задание успешным. Возможно, это не работает с документами json.

person JonJagd    schedule 05.02.2021