Вопросы по теме 'u-sql'
Как извлечь значения атрибутов из элемента XML с помощью XML Extractor в U-SQL
Как я могу извлечь значение атрибута из элемента XML с помощью XML Экстрактор на U-SQL для моей работы по анализу озера данных Azure.
Обновление: дополнительные сведения о проблеме
Мой XML-файл выглядит так:
<?xml version="1.0"...
2463 просмотров
schedule
23.11.2021
Разница в производительности локальных таблиц U-SQL и ADLA?
Вставка / запрос к локальным таблицам U-SQL выполняется довольно быстро по сравнению с тем, когда мы создаем и используем таблицы из ADLA. Мы смогли вставить данные из CSV в три таблицы локально примерно за 8 минут без использования какого-либо...
162 просмотров
schedule
11.11.2021
Ошибка при выполнении действия U-SQL в конвейере в фабрике данных Azure
Я получаю следующую ошибку при выполнении действия USQL в конвейере в ADF:
Ошибка в действии:
{"errorId":"E_CSC_USER_SYNTAXERROR","severity":"Error","component":"CSC",
"source":"USER","message":"syntax error.
Final statement did not...
1567 просмотров
schedule
07.09.2021
Работа u-sql очень медленная, когда я добавляю вызов .NET
Код работает очень быстро с 2000 маленьких файлов (~ 10-50 Кб) ~ 1 мин. Параллелизм = 5.
@arenaData =
EXTRACT col1, col2, col3
FROM @in
USING Extractors.Tsv(quoting : true, skipFirstNRows : 1, nullEscape : "\\N",...
631 просмотров
schedule
09.10.2021
Можем ли мы получить доступ к данным из таблиц ADLA, создав источник ODATA с помощью REST API?
Есть ли способ установить ODATA поверх таблицы аналитики озера данных Azure через REST API? Кажется, есть REST API для получения информации о задании ADLA, информации об учетной записи и т. Д. Есть ли такие существующие API для получения данных или...
252 просмотров
schedule
28.10.2021
Эквивалент HASHBYTES в U-SQL для получения хэша полной строки
Мы должны хранить все изменения в строке данных. Я искал функцию сборки, такую как SQL Server, для расчета HASHBYTES и отметки времени, чтобы найти изменения и получить последнюю версию. Любой указатель будет очень полезен.
351 просмотров
schedule
23.09.2021
Ошибка U-SQL при присвоении имени столбцу
У меня есть JSON, в котором порядок полей не фиксирован.
т.е. я могу иметь [A, B, C] or [B, C, A]
Все объекты A, B, C json имеют форму {Name: x, Value: y}.
Итак, когда я использую USQL для извлечения JSON (я не знаю их порядка) и помещаю...
259 просмотров
schedule
24.11.2021
Та же работа USQL заняла почти 4 часа, что раньше занимало 30 минут. Почему?
У меня есть один конвейер ADF, который выполняет задания USQL с 1 AU. Он запланирован на ежедневный раз. Обычно на выполнение работы уходило около 30 минут. Но теперь я вижу, что на выполнение работы уходит более 3-4 часов. Я вижу, что сейчас он...
62 просмотров
schedule
28.10.2021
Скрипт U-SQL для подсчета нескольких таблиц
Нужен сценарий U-sql для получения нескольких таблиц.
например, приведенный ниже запрос дает количество сотрудников, как мудрое, я хочу получить более одного количества таблиц
@result =
SELECT COUNT(*) AS TotalRecordCount...
57 просмотров
schedule
25.10.2021
Фабрика данных Azure, как предоставить дату расписания конвейера как значение для действий
Раньше у меня был параметр конвейера LookBack со статическим значением по умолчанию -1 . Затем в дочерних конвейерах / действиях это преобразовано в
@adddays(utcnow(), pipeline().parameters.lookback)
Вместо сегодняшнего дня вычтите -1, чтобы...
246 просмотров
schedule
04.11.2021
Шифрование PGP в U-SQL и/или Azure Data Lake Store
Можно ли добавить шифрование PGP к данным, которые уже находятся в Azure Lake Lake Store, без развертывания экземпляра виртуальной машины? Теоретически кажется, что это должно быть возможно с зарегистрированным двоичным файлом С# (dll) в U-SQL, но...
396 просмотров
schedule
31.03.2022
Пользовательский экстрактор USQL - Как обработать json-объект размером более 4 МБ
Мы используем специальный экстрактор USQL для сглаживания структуры json. Приведенный ниже пример кода отлично работает, если строка (объект json) json меньше 4 МБ. Если размер строки превышает 4 МБ, мы получаем ошибку «Запись во входном файле...
111 просмотров
schedule
26.03.2022
получить существующий файл и добавить данные в существующий файл U-SQL
Как мы можем получить существующий файл и добавить в него данные с помощью скрипта u-sql.
`DECLARE @ file1 string =" dailyfiles / daily / LATESTMODIFIEDFILENAME.csv ";
DECLARE @out string = "/output/result.csv";
@data = ВЫБРАТЬ строку col1,...
120 просмотров
schedule
03.04.2022
Разве мы не можем загружать документы / изображения с помощью пользовательского кода USQL и usql?
Ситуация : мы создали базу данных с надписью «CLSTrackOMeter» и таблицу с именем «Customer_Information» в аналитике озера данных Azure.
Customer_Information, хранит путь к изображению в промежуточной папке (пока я жестко запрограммировал путь к...
149 просмотров
schedule
04.05.2022
Как установить базу данных и схему в скрипте в проекте Visual Studio Azure Data Lake U-SQL с выделенным кодом
Раньше в проекте U-SQL Azure Data Lake в Visual Studio 2017 было так, что при запуске файла сценария usql (например, Script.usql) с кодом позади класса вы могли просто выбрать (с помощью раскрывающихся списков) не только Учетная запись ADLA (Azure...
38 просмотров
schedule
06.05.2022
Хранилище данных SQL Azure и PolyBase не могут читать файлы CSV, созданные с помощью U-SQL и ADLA.
У меня есть сценарий U-SQL, который создает файл CSV в хранилище Azure и внешнюю таблицу в хранилище данных SQL Azure (SDW), используя PolyBase для чтения этого файла CSV.
Когда файл CSV создается с помощью сценария U-SQL, SDW не может прочитать...
912 просмотров
schedule
23.05.2022
USQL - Как выбрать все строки между двумя строками в USQL
Вот полное описание моей задачи:
Мне нужно извлечь данные из нескольких файлов с помощью u-sql и вывести их в файл csv. Каждый входной файл содержит несколько отчетов, основанных на некоторых строковых строках («НАЧАЛО ...» и «КОНЕЦ ...»,...
695 просмотров
schedule
29.05.2022
Динамическое имя файла с пользовательским устройством вывода
Я пытаюсь обрабатывать изображения (создавать эскизы изображений), используя u-sql с пользовательским устройством вывода, и пытаюсь выводить файлы с динамическим именем файла.
Мой код u-sql выглядит так.
REFERENCE ASSEMBLY [USQLAssemblies];...
170 просмотров
schedule
03.06.2022
Автоматический вход пользователя Azure AAD для отправки задания Datalake U-SQL
Я попробовал образец из https://github.com/blumu/azure-content/blob/master/articles/data-lake-analytics/data-lake-analytics-get-started-net-sdk..md В приведенном выше примере пользователь вошел в систему с помощью интерактивного всплывающего окна,...
116 просмотров
schedule
17.06.2022
Как ссылаться на System.Xml в коде программной части U-SQL
Я пытаюсь использовать метод SqlGeometry.STMPolyFromText в файле кода программной части U-SQL, но получаю сообщение об ошибке: Тип System.Xml.Serialization.IXmlSerializable определен в сборке, на которую нет ссылок. Вы должны добавить ссылку на...
197 просмотров
schedule
11.07.2022
