Как подключить AWS Athena к существующему хранилищу метастазов Hive

Athena работает только со своим собственным хранилищем метаданных или связанным хранилищем метаданных AWS Glue. Это не будет работать с внешним хранилищем метаданных.

Однако вы можете настроить несколько таблиц или баз данных в одном и том же базовом хранилище S3. Поэтому, если вы записывали данные в S3 с помощью внешнего хранилища метаданных, вы могли запрашивать эти файлы с помощью Athena после настройки соответствующей базы данных и определения таблицы в хранилище метаданных Athena.

Другой способ - экспортировать метаданные улья в файл с помощью команды

command = "hive -f" + schema + "_ tables.hql -S >>" + schema + ". output"

где schema = для экспорта и импорта определений таблиц в Athena, используя groovy в python.

Инструкцию по настройке groovy можно найти по ссылке

https://github.com/aws-samples/aws-big-data-blog/tree/master/aws-blog-athena-importing-hive-metastores

Amazon Athena только что выпустила новую функцию (сейчас в предварительной версии), которая позволяет подключать Athena к вашему хранилищу Apache Hive Metastore. Вы можете увидеть объявление здесь. Подробные инструкции по добавлению коннектора Hive Metastore доступны в Athena документация.