Как сохранить temptable в хранилище метаданных Hive (и проанализировать его в Hive)?

Я использую Спарк 1.3.1.

Как хранить/сохранять данные DataFrame в хранилище метаданных Hive?

В Hive Если я запускаю show tables, DataFrame не отображается в виде таблицы в базах данных Hive. Я скопировал hive-site.xml в $SPARK_HOME/conf, но это не помогло (и фрейм данных также не отображается в хранилище метаданных Hive).

Я следую этому документу, используя версию spark 1.4.

dataframe.registerTempTable("people")

Как анализировать искровую таблицу в Hive?


apache-spark apache-spark-sql hive spark-dataframe apache-spark-1.3
person Venu A Positive    schedule 18.11.2015    source источник
comment
Вы уверены, что ваш улей настроен правильно? Можете ли вы запрашивать таблицы кустов из оболочки beeline или hive?   -  person karthik manchala    schedule 18.11.2015
comment
да, если я запускаю sqlContext.sql (СОЗДАЙТЕ ТАБЛИЦУ, ЕСЛИ НЕ СУЩЕСТВУЕТ погода (даты STRING, температура STRING, ветер STRING, atmosPressure STRING)) Это создает таблицу. Так что это не проблема.   -  person Venu A Positive    schedule 18.11.2015

Ответы (2)


arrow_upward
0
arrow_downward

Вы можете использовать метод insertInto для сохранения фрейма данных в улье.

Пример:

dataframe.insertInto("table_name", false);
//2nd arg is to specify if table should be overridden
person karthik manchala    schedule 18.11.2015

arrow_upward
0
arrow_downward

Получил решение. Я использую искру 1.3.1, так что она не поддерживает все. Теперь, используя spark 1.5.1, эта проблема решена. Я заметил, что фреймы данных полностью работают после 1.40. Многие команды устарели.

person Venu A Positive    schedule 25.11.2015
comment
запустите ту же команду в новой версии 1.4+, чем любой фрейм данных, работающий правильно, чтобы получить данные куста также в искре. - person Venu A Positive; 29.04.2016