Можно ли подключиться к таблицам deltalake databricks из adf

Я ищу способ подключиться к таблицам deltalake Databricks из ADF и других служб Azure (например, каталога данных). Я не вижу хранилища данных блоков данных, перечисленных в источниках данных ADF.

По аналогичному вопросу - возможно читать таблицу Azure Databricks из фабрики данных Azure?

@simon_dmorias, похоже, предложил использовать соединение ODBC для подключения к таблицам блоков данных.

Я попытался установить соединение ODBC, но для этого требуется настройка IR. При создании IR я вижу 2 варианта. Самостоятельный и связанный Самостоятельный хостинг. Я попытался создать автономный IR, но он требует установки на моем локальном рабочем столе и, вероятно, больше предназначен для локального подключения odbc. Я не мог использовать IR в моих связанных Сервисах.

Я смог подключить powerbi к таблицам deltalake databricks и планирую использовать здесь те же кредиты. Вот справочная ссылка -

https://docs.azuredatabricks.net/user-guide/bi/power-bi.html

Любое руководство будет полезно


delta-lake azure-data-factory azure-databricks
person Mauryas    schedule 13.09.2019    source источник

Ответы (3)


arrow_upward
1
arrow_downward

Можно, но это довольно сложно. Вам необходимо использовать коннектор ODBC в фабрике данных Azure с автономной средой выполнения.

ADF может подключаться с помощью ODBC (https://docs.microsoft.com/en-us/azure/data-factory/connector-odbc). Для этого действительно требуется собственный ИК-порт. Предполагая, что у вас установлены правильные драйверы, вы можете настроить соединение ODBC с кластером Databricks.

Подробные сведения о подключениях для параметров ODBC можно найти на экране параметров кластера в рабочей области Databricks (https://docs.microsoft.com/en-us/azure/azure-databricks/connect-databricks-excel-python-r).

Процесс очень похож на то, что вы опубликовали для PowerBI.

person simon_dmorias    schedule 14.09.2019
comment
Спасибо! Можно ли связать каталог данных Azure с таблицами блоков данных. - person Mauryas; 21.09.2019
comment
Кто-нибудь на самом деле заставил это работать? Интеграция ADF с Delta кажется легкой задачей - person Rodney; 27.06.2020

arrow_upward
0
arrow_downward

На самом деле, я подумал, что можно напрямую получить метаданные из любых таблиц в рабочей области Databricks, используя соединение ODBC, доступное в текущей версии каталога данных Azure, было бы намного лучше использовать собственный соединитель, но сейчас, если вы хотите дать ему попробуйте просто заполнить информацию ниже (в приложении публикации каталога данных Azure):

Драйвер: драйвер Microsoft Spark ODBC (он должен быть установлен в вашей системе).

Строка подключения: host = eastus.azuredatabricks.net; port = 443; SSL = 1; HTTPPath = sql / protocolv1 / o / XXXXXXXXXXXXXXX / XXXX-XXXXXX-XXXXXX; transportMode = http; AuthMech = 8

Пользователь: токен

Пароль: dapiXXXXXXXXXXXXXXXXXXXXXX

И оставьте поле База данных пустым.

person Ronieri Marques    schedule 09.07.2020

arrow_upward
-1
arrow_downward

См. Раздел _1 _ официального документа Azure Databricks User Guide > Developer Tools > Managing Dependencies in Data Pipelines. И вы увидите, что в теме есть два списка документов Azure о том, как создать записную книжку Databricks с действием записной книжки Databricks и запустить ее для выполнения задачи передачи данных в фабрике данных Azure, как показано ниже. Думаю, это поможет вам осознать свои потребности.

  1. Запуск записной книжки Databricks с помощью записной книжки Databricks Действия в фабрике данных Azure
  2. Преобразование данных с помощью записной книжки Databricks
person Peter Pan    schedule 13.09.2019
comment
Привет Питер. Моя просьба в первую очередь состоит в том, чтобы иметь возможность подключаться к таблицам кустов данных из ADF, как если бы они подключались к таблице базы данных sql. Я работал с выполнением записных книжек databricks из ADF, и это не проблема. - person Mauryas; 13.09.2019