Ошибка при выполнении действия U-SQL в конвейере в фабрике данных Azure

В вашем скрипте отсутствует атрибут scriptLinkedService. Вам также (в настоящее время) необходимо поместить сценарий U-SQL в хранилище BLOB-объектов Azure для его успешного запуска. Поэтому вам также понадобится AzureStorage Связанная служба, например:

{
    "name": "StorageLinkedService",
    "properties": {
        "description": "",
        "type": "AzureStorage",
        "typeProperties": {
            "connectionString": "DefaultEndpointsProtocol=https;AccountName=myAzureBlobStorageAccount;AccountKey=**********"
        }
    }
}

Создайте эту связанную службу, заменив имя хранилища BLOB-объектов myAzureBlobStorageAccount на соответствующую учетную запись хранилища BLOB-объектов, затем поместите сценарий U-SQL (SearchLogProcessing.txt) в контейнер и повторите попытку. В моем примере конвейера ниже у меня есть контейнер с именем adlascripts в моем хранилище BLOB-объектов, и сценарий находится там:

Убедитесь, что scriptPath заполнен, как сказал Александр. Начало конвейера:

{
    "name": "ComputeEventsByRegionPipeline",
    "properties": {
        "description": "This is a pipeline to compute events for en-gb locale and date less than 2012/02/19.",
        "activities": [
            {
                "type": "DataLakeAnalyticsU-SQL",
                "typeProperties": {
                    "scriptPath": "adlascripts\\SearchLogProcessing.txt",
                    "scriptLinkedService": "StorageLinkedService",
                    "degreeOfParallelism": 3,
                    "priority": 100,
                    "parameters": {
                        "in": "/input/SearchLog.tsv",
                        "out": "/output/Result.tsv"
                    }
                },
...

Файлы input и output .tsv могут находиться в озере данных и использовать связанную службу AzureDataLakeStoreLinkedService.

Я вижу, вы пытаетесь следить за демонстрацией из: https://docs.microsoft.com/en-us/azure/data-factory/data-factory-usql-activity#script-definition. Это не самая интуитивно понятная демонстрация, и, похоже, есть некоторые проблемы, например, где определение для StorageLinkedService ?, где SearchLogProcessing.txt? Хорошо, я нашел его в Google, но на веб-странице должна быть ссылка. Я заставил его работать, но почувствовал себя Гарри Поттером в «Принце-полукровке».

Удалите атрибут script в определении действия U-SQL и укажите полный путь к сценарию (включая имя файла) в атрибуте scriptPath.

Ссылка: https://docs.microsoft.com/en-us/azure/data-factory/data-factory-usql-activity.

У меня была аналогичная проблема, когда фабрика данных Azure не распознавала мои файлы сценариев. Один из способов избежать этой проблемы, не вставляя при этом большого количества кода, - это зарегистрировать хранимую процедуру. Сделать это можно так:

DROP PROCEDURE IF EXISTS master.dbo.sp_test;
CREATE PROCEDURE master.dbo.sp_test() 
AS  
BEGIN 

@searchlog =
EXTRACT UserId          int,
        Start           DateTime,
        Region          string,
        Query           string,
        Duration        int?,
        Urls            string,
        ClickedUrls     string
FROM @in
USING Extractors.Text(delimiter:'|');

@rs1 =
    SELECT Start, Region, Duration
    FROM @searchlog
WHERE Region == "kota";


OUTPUT @rs1   
    TO @out
      USING Outputters.Text(delimiter:'|');
END;

После запуска вы можете использовать

"script": "master.dbo.sp_test()"

в определении вашего конвейера JSON. Всякий раз, когда вы обновляете сценарий U-SQL, просто повторно запускайте определение процедуры. Тогда не нужно будет копировать файлы сценариев в хранилище BLOB-объектов.