Я немного запутался в назначении MetaStore. Когда вы создаете таблицу в улье: CREATE TABLE <table_name> (column1 data_type, column2 data_type); LOAD DATA INPATH <HDFS_file_location> INTO table managed_table; Итак, я знаю, что эта...

У меня есть данные, хранящиеся в S3 как файлы json в кодировке utf-8 и сжатые с использованием snappy / lz4. Я хотел бы использовать Spark для чтения / обработки этих данных, но Spark, похоже, требует суффикс имени файла ( .lz4 , .snappy ), чтобы...

Я пытаюсь создать кластер HDInsight в Azure с Metastore с помощью сценария Powershell. Но он выдает ошибку BadRequest: RegionCapabilityNotAvailable, возможность региона недоступна для региона «Восточная часть США». Но восточная часть США является...

Мне нужно интегрировать сервис AWS Athena с существующим хранилищем метастазов Hive (не с AWS Glue). Не могли бы вы сообщить мне, как я могу подключить Афину к Hive Metastore.

Я установил и запустил сервер Metastore отдельно, без установки Hive. Однако я не могу найти документацию об API-интерфейсе бережливой сети для связи с сервером. Мне нужно иметь возможность подключаться к серверу Metastore напрямую или через...

Предыстория. Наша группа проходит обновление Cloudera до 6.1.1, и мне было поручено определить, как справиться с потерей неявного преобразования типов данных между типами данных. См. Ссылку ниже для получения информации о соответствующих...

Я знаю о таких, Чтобы получить имена столбцов в таблице, мы можем запустить: show columns in <database>.<table_name> Чтобы получить описание таблицы (включая имя_столбца, тип_столбца и многие другие данные): describe...

У меня Hive 2.3.3 и Hadoop 3.1.0. Я могу запустить Hive с помощью команды hive на терминале, но когда я пытаюсь создать таблицу, я получаю следующую ошибку: user$ hive readlink: illegal option -- f usage: readlink [-n] [file ...] SLF4J: Class...

Я недавно развернул Hive 2.4.3, однако в более старой версии Hive 1.2 существует несколько таблиц с разделами, я использую Derby в качестве хранилища метаданных. Как лучше всего перенести их на новую установку Hive?

Какие параметры хранилища метаданных/каталога данных я могу использовать с Apache Spark? В простейшем случае я могу использовать Hive Metastore, который отлично работает с Hive, Spark и Presto. Есть ли какие-либо другие параметры каталога данных,...

Кластер с высоким уровнем параллелизма Databricks с внешним хранилищем метаданных куста + сквозной ADLS + контроль доступа к таблицам больше не поддерживается ????‍♂️ Любые мысли о том, как достичь нижеприведенной функциональности Внешнее...

У нас есть рабочие места ETL в Python (Luigi). Все они подключаются к Hive Metastore для получения информации о разделах. Код: from hive_metastore import ThriftHiveMetastore client = ThriftHiveMetastore.Client(protocol) partitions =...

Мы обновили кластер HDP до версии 3.1.1.3.0.1.0-187 и обнаружили: Spark не видит базы данных Hive Похоже, это не реализованная функция Spark . Но единственный способ использовать Spark и Hive начиная с версии 3.0, который я нашел, - это...

Я имею в виду Hadoop: полное руководство по Hive. Я узнал, что существует множество «Услуг Hive», которые он предоставляет, например: cli , hiveserver2 , beeline , metastore и т. д. Вот фрагмент списка Hive Service (из той же книги):...