Вопросы по теме 'azure-synapse'
Каков наиболее подходящий способ копирования данных с SQL-сервера в аналитику синапсов Azure
После прочтения Интернета у меня есть два варианта для этого
Скопируйте данные с помощью ADF с сервера SQL в аналитику синапсов Azure.
Скопируйте данные в хранилище BLOB-объектов и оттуда скопируйте данные с помощью внешних таблиц в аналитику...
91 просмотров
schedule
11.09.2021
Подключение к Azure Synapse SQL по требованию приводит к ошибке syscharsets is not supported
Я запускаю Azure Synapse Analytics, используя пул SQL и пул SQL по запросу . Оба они работают в управляемой виртуальной частной сети Azure и для пула SQL, а также для компонента SQL On-Demand были настроены так называемые частные конечные точки....
478 просмотров
schedule
20.11.2021
Как обрабатывать пробелы в столбце varchar not null из таблицы синапсов azure для создания блоков данных
У меня проблема, когда я читаю таблицу в искре (используя лазурные блоки данных) из базы данных синапсов. Таблица определена следующим образом:
CREATE TABLE A
(
[ID] [int] NOT NULL,
[Value] [int] NOT NULL,
[Description] [nvarchar](30)...
236 просмотров
schedule
15.09.2021
Я не могу создавать и загружать данные из фрейма данных Spark в блоках данных в Azure Synapse (DWH)
Я новичок в этой области и сейчас играю с Azure и Databricks. Я принял файл Json из blob в блоки данных, сделал некоторые преобразования и теперь хочу загрузить его в чистый DWH (Synapse) в Azure.
Выполнение кода показывает ошибку в: .mode...
189 просмотров
schedule
25.11.2021
таблица разделов azure synapse - без повышения производительности
одна из таблиц синапсов имеет 300 миллионов строк и продолжает увеличиваться. Каждая строка как столбец состояния, т.е. active_row либо 0, либо 1. Active_row имеет тип данных int. Пользователи запрашивают только active_row = 1, который имеет только...
109 просмотров
schedule
10.10.2021
Использование Azure Synapse с Java
У меня есть требование прочитать паркетный файл. Я хотел понять, есть ли способ запросить файл parquet с помощью Azure Synapse SQL из приложения Java. Любая ссылка будет оценена.
109 просмотров
schedule
18.09.2021
внедрить современную сквозную систему отчетности на основе Power BI и Azure Synapse
Я работаю над модернизацией решения для создания отчетов, в котором источники данных размещаются на серверах sql клиентов (2014 г.), а отчеты отображаются в виде отчетов Power BI на портале службы Power BI клиента. Сегодня я использую SSIS для...
53 просмотров
schedule
31.10.2021
Блоки данных записывают обратно в ошибку лазурного синапса
Ниже мой код
df.write \
.format("com.databricks.spark.sqldw") \
.option("url", "jdbc:sqlserver://**********.sql.azuresynapse.net:1433;database=********") \
.option("user","sqladminuser")\...
187 просмотров
schedule
25.09.2021
Источник должен быть двоичным, если приемник - двоичный набор данных
Я пытаюсь загрузить файл csv (api возвращает файл csv, а не json) с веб-страницы и сохранить его в озере данных поколения 2. Итак, я создал связанную службу для веб-страницы, набор данных для веб-страницы, кажется, нет, где мне указать тип файла...
67 просмотров
schedule
30.09.2021
Как использовать пул Azure Synapse Spark для записи в Cosmos DB
Можно ли использовать среду Spark внутри Azure Synapse для записи данных в Azure Cosmos DB с помощью Gremlin API? Нам нужно создать базу данных графа в Cosmos, но, поскольку мы уже используем Azure Synapse, мы хотели бы избежать платы за другой...
131 просмотров
schedule
22.02.2022
Фабрика данных не загружает большой столбец
У нас есть таблица Azure SQL, которую я перемещаю из традиционной базы данных в таблицу Azure Synapse Analytics (DW) для долгосрочного хранения, и поэтому ее можно удалить из нашей производственной базы данных. Это системная таблица для устаревшей...
138 просмотров
schedule
10.03.2022
Загрузка данных из ADLS Gen 2 в Azure Synapse
Я пытаюсь загрузить файлы Parquet из ADLS Gen2 в Synapse, используя функцию внешней таблицы polybase.
Ниже приведен код, но при запуске команды создания внешней таблицы запрос никогда не завершается. При отмене выполнения запроса я вижу эту ошибку...
1399 просмотров
schedule
15.03.2022
Проверить схему в источнике и приемнике
Я использую следующий набор данных для тестирования потоков данных сопоставления: https://github.com/fivethirtyeight/data/tree/master/avengers .
Мой поток данных очень прост; Источник (файл с разделителями в AzureDataLakeStorageGen2),...
115 просмотров
schedule
11.03.2022
Один экземпляр Azure Synapse с несколькими средами
В настоящее время мы развертываем несколько тестовых виртуальных сетей (каждая из которых представляет среду) в одну подписку для тестирования, и для ограничения доступа мы решили создать три отдельных фабрики данных Azure (мы предполагаем, что,...
256 просмотров
schedule
30.03.2022
Ошибка отправки пула Azure Synapse Spark с сообщением об ошибке SparkJobDefinitionActionFailed
Я следую приведенным ниже руководствам и пытаюсь отправить задание Spark с помощью движка Spark в Azure Synapse.
Отправка не удалась из-за следующей ошибки:
Error:
{
"code": "SparkJobDefinitionActionFailed",...
182 просмотров
schedule
03.04.2022
Предоставление доступа на чтение группе Azure Active Directory в SQL DW (Synapse)
Кто-нибудь может мне помочь с этим, я застрял, и чтение меня ни к чему не привело :(
Мой вопрос касается группы Azure Active Directory и SQL DW. Я хочу предоставить доступ для чтения к базе данных группе Azure Active Directory (группа ADD). Для...
687 просмотров
schedule
01.04.2022
Путаница в отношении Azure Synapse Analytics
Может ли кто-нибудь помочь мне понять, какие компоненты / службы включает в себя Azure Synapse Analytics?
Из того, что я прочитал на веб-сайте Microsoft и в других обзорах, говорится, что это новое хранилище данных SQL, однако также говорится, что...
332 просмотров
schedule
17.04.2022
Может ли поток данных сопоставления использовать параметризованный набор данных Parquet?
спасибо, что зашли.
Я пытаюсь разработать поток данных сопоставления в рабочем пространстве Azure Synapse (поэтому я считаю, что это также можно применить к ADFv2), который принимает ввод Delta и преобразует его прямо в вывод в формате Parquet, с...
63 просмотров
schedule
24.04.2022
Бессерверная версия Azure Synapse. HashBytes: запрос ссылается на объект, который не поддерживается в режиме распределенной обработки.
Я получаю сообщение об ошибке. Запрос ссылается на объект, который не поддерживается в режиме распределенной обработки при использовании функции HASHBYTES () для хеширования строк в Synapse Serverless SQL Pool.
Конечная цель - разобрать json и...
532 просмотров
schedule
01.05.2022
Synapse Analytics Server без пула ›› Каждое утро утром возникают проблемы с чтением данных из внешней таблицы
Это на Synapse Analytics Server без пула ›› Каждое утро утром возникают проблемы с чтением данных из внешней таблицы.
У меня есть внешняя таблица, созданная в Synapse Analytics Pool, и каждое утро утром - впервые, когда я делаю выбор * из внешней...
99 просмотров
schedule
02.05.2022
