Проблема с подключением к таблице Databricks из фабрики данных Azure с помощью соединителя Spark odbc

Нам удалось получить действительное соединение от фабрики данных Azure к нашему кластеру Azure Databricks с помощью соединителя Spark (odbc). В списке таблиц мы получаем ожидаемый список, но при запросе конкретной таблицы мы получаем исключение.

ОШИБКА [HY000] [Microsoft] [Hardy] (35) Ошибка сервера: код ошибки: сообщение об ошибке «0»: com.databricks.backend.daemon.data.common.InvalidMountException: ошибка при использовании пути xxxx для разрешения пути xxxx внутри mount at '/ mnt / xxxx'. '.. Идентификатор действия: 050ac7b5-3e3f-4c8f-bcd1-106b158231f3

В нашем случае таблицы Databrick и смонтированные файлы паркета, хранящиеся в Azure Data Lake 2, связаны с указанным выше исключением. Есть предложения, как решить эту проблему?

Пс. та же ошибка возникает при подключении с рабочего стола Power BI.

Спасибо Барт


parquet azure-data-lake azure-data-factory powerbi azure-databricks
person BTV    schedule 01.03.2019    source источник
comment
Как вы подключились к gen2 lake? Если вы использовали настройки spark.conf, вероятно, они недоступны для этого сеанса. Если вы откроете блокнот sql и выберете из таблицы, он работает?   -  person simon_dmorias    schedule 02.03.2019
comment
Привет, @simon_dmorias, если я открою записную книжку SQL, я могу без проблем запрашивать таблицы: используйте имя базы данных; select * from tablename Я проверю нашу настройку подключения к озеру 2-го поколения и предоставлю отзыв позже, эту реализацию выполнил коллега.   -  person BTV    schedule 03.03.2019
comment
Привет, @simon_dmorias, наше соединение с datalake gen 2 настроено как: configs = {fs.azure.account.auth.type: OAuth, fs.azure.account.oauth.provider.type: org.apache.hadoop.fs.azurebfs. oauth2.ClientCredsTokenProvider, fs.azure.account.oauth2.client.id: xxx, fs.azure.account.oauth2.client.secret: xxx, fs.azure.account.oauth2.client.endpoint: login.microsoftonline.com/xxx/oauth2/token} dbutils.fs.mount (source = abfss: // [email protected]/, точка_монтирования = / mnt / datalake, extra_configs = configs) dbutils.fs.ls (dbfs: / mnt / datalake)   -  person BTV    schedule 04.03.2019
comment
Я слышал, что интеграция datalake gen2 через соединение odbc от Databricks, возможно, все еще находится в разработке. Кто-нибудь может это подтвердить?   -  person BTV    schedule 05.03.2019
comment
Вы нашли какое-нибудь решение для этого?   -  person chathux    schedule 23.03.2019

Ответы (1)


arrow_upward
0
arrow_downward

Вы можете добавить эту настройку в свою конфигурацию для установки озера:

"fs.azure.createRemoteFileSystemDuringInitialization": "true"

Я не пробовал ваш точный сценарий - однако это решило аналогичную проблему для меня, используя Databricks-Connect.

person simon_dmorias    schedule 12.03.2019