Я пытаюсь выполнить команды hive в файле json, используя jsonserde, но я всегда получаю нулевые значения, а не фактические данные. Я использовал serde, предоставленный в ссылке "code.google.com/p/hive-json-serde/downloads/list". Я пробовал несколько способов, но все попытки не увенчались успехом. Пожалуйста, может кто-нибудь помочь мне с точными шагами, которые нужно выполнить, и использовать serde для работы с файлами json в последней версии apache hive (0.14)
БР, Сан
Вот простые шаги, чтобы поиграть с JSON в Hive.
Создайте кустовую таблицу
CREATE EXTERNAL TABLE IF NOT EXISTS json_table (
field1 string COMMENT 'This is a field1',
field2 int COMMENT 'This is a field2',
field3 string COMMENT 'This is a field3',
field4 double COMMENT 'This is a field4'
)
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
Location '/path/to/json_table';
Пример данных для вашей таблицы. Скопируйте приведенный ниже контент в файл json и сохраните в папку, указанную json_table.
{"field1":"data1","field2":100,"field3":"more data1","field4":123.001}
{"field1":"data2","field2":200,"field3":"more data2","field4":123.002}
{"field1":"data3","field2":300,"field3":"more data3","field4":123.003}
{"field1":"data4","field2":400,"field3":"more data4","field4":123.004}
Убедитесь, что файл JSON Serde Jar добавлен в путь к классу HIVE. В этом примере мы использовали openx json serde. Его можно загрузить с здесь
Команда для добавления банки
ADD JAR /path-to/json-serde-1.3.6-jar-with-dependencies.jar;
Теперь мы можем запросить записи из json_table.
select * from json_table;
