Azure Databricks Высокий параллелизм + управление доступом к таблицам + внешнее хранилище метаданных улья + сквозной ADLS

Кластер с высоким уровнем параллелизма Databricks с внешним хранилищем метаданных куста + сквозной ADLS + контроль доступа к таблицам больше не поддерживается ????‍♂️

Любые мысли о том, как достичь нижеприведенной функциональности

Внешнее хранилище метаданных улья необходимо, так как мы перешли с HDInsight на Databricks. Очевидно, что у внешнего хранилища метаданных улья есть много преимуществ (одно из них - мы можем перейти на любой кластер Hadoop, не беспокоясь о метаданных, именно так мы перешли с HDInsight на Databricks).

Управление доступом к таблицам необходимо для предоставления детализированного доступа к базам данных куста. Моим пользователям нужно читать некоторые базы данных, читать писать в некоторых базах данных улья.

Передача ADLS необходима пользователям для выполнения операций чтения / записи в ADLS (на это указывают базы данных кустов).


azure-data-lake azure-databricks databricks hive-metastore external
person Kalyanapu RajaShekar    schedule 04.11.2019    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Думаю, вы ищете ответы о том, как это сделать, но вы не можете этого сделать, по крайней мере, в настоящее время.

На основе этого: https://docs.microsoft.com/en-us/azure/databricks/data/data-sources/azure/adls-passthrough#known-limitations Транспортировка и списки контроля доступа таблиц не поддерживаются "Полномочия, предоставляемые Azure Пересылку учетных данных в хранилище озера данных можно использовать для обхода детализированных разрешений списков ACL таблиц, в то время как дополнительные ограничения списков управления доступом к таблицам ограничат некоторые возможности, которые вы получаете от сквозной передачи учетных данных Azure Data Lake Storage. из этих двух. Также существует проблема между функциями External Hive и High Concurrency, но это может быть разрешено.

person UrVal    schedule 22.11.2019