Авторизация через Apache Ranger в Spark

У нас есть политики рейнджеров, определенные для таблицы улья, и авторизация работает должным образом, когда мы используем hive cli и beeline. Но когда мы обращаемся к этим таблицам улья с помощью spark-shell или spark-submit, это не работает.

Есть ли способ его настроить?

Постановка проблемы: Ranger защищает только сервер Hive (JDBC). Но Spark не взаимодействует с HS2, а напрямую взаимодействует с Metastore. Следовательно, единственный способ использовать политики Ranger, если вы используете Hive через JDBC. Другой вариант - HDFS или ACL хранилища, которые представляют собой грубый контроль над путем к файлу и т. Д. Вы также можете использовать Ranger для управления списками ACL HDFS. В таком сценарии искра будет связана этой политикой. Но, если я использую Ranger для управления HDFS ACLS, как вы упомянули, это будет грубый контроль над файлом. У меня может быть несколько мелкозернистых вариантов использования на уровне строки / столбца


person Joyan    schedule 23.11.2020    source источник
comment
#rikamamanus Ответьте на обновленный вопрос   -  person Joyan    schedule 27.12.2020


Ответы (1)


Проверьте проверки рейнджера в пользовательском интерфейсе рейнджера и проверьте отклоненные результаты для этих таблиц, проверьте пользователя.

person rikamamanus    schedule 27.11.2020
comment
rikamamanus - Проблема в том, что Ranger защищает только сервер Hive (JDBC). Но Spark не взаимодействует с HS2, а напрямую взаимодействует с Metastore. Следовательно, единственный способ использовать политики Ranger, если вы используете Hive через JDBC. Другой вариант - HDFS или ACL хранилища, которые представляют собой грубый контроль над путем к файлу и т. Д. Вы также можете использовать Ranger для управления списками ACL HDFS. В таком сценарии искра будет связана этой политикой. Но, если я использую Ranger для управления HDFS ACLS, как вы упомянули, это будет грубый контроль над файлом. У меня может быть несколько мелкозернистых вариантов использования на уровне строки / столбца - person Joyan; 27.12.2020
comment
Может ли кто-нибудь помочь мне, если здесь есть какие-либо ограничения подхода или какой-либо способ реализации, аналогичный тому, что было сделано здесь? issues.apache.org/jira/browse/RANGER-2128 issues.apache.org/jira/browse/SUBMARINE-409 - person Joyan; 27.12.2020