Как читать данные из Hive с помощью Apache Beam?

Как читать из Hive с помощью Apache Beam / как использовать Hive в качестве источника в Apache Beam?


apache-beam hive apache-beam-io
person ya_java_dev    schedule 22.05.2017    source источник
comment
Опубликуйте ответ вместо того, чтобы ставить ответ вместе с вопросом   -  person David דודו Markovitz    schedule 23.05.2017

Ответы (2)


arrow_upward
0
arrow_downward

HadoopInputFormatIO можно использовать для чтения из Hive, как показано ниже:

Configuration conf = new Configuration();
conf.setClass("mapreduce.job.inputformat.class", HCatInputFormat.class, 
InputFormat.class);
conf.setClass("key.class", LongWritable.class, WritableComparable.class);
conf.setClass("value.class", DefaultHCatRecord.class, Writable.class);
conf.set("hive.metastore.uris", "...");
HCatInputFormat.setInput(hiveConf, "myDatabase", "myTable", "myFilter");


PCollection<KV<LongWritable, DefaultHCatRecord>> data =
p.apply(HadoopInputFormatIO.<Long, 
DefaultHCatRecord>read().withConfiguration(conf));
person ya_java_dev    schedule 23.05.2017
comment
Не могли бы вы поделиться помпонами? а также полный код классов ключевых значений? - person Syed Mohammed Mehdi; 27.04.2020

arrow_upward
0
arrow_downward

Запрос на вытягивание, объединенный в июле 2017 года, позволяет Beam 2.1.0 поддерживать hive через HCatalog https://issues.apache.org/jira/browse/BEAM-2357.

person WestCoastProjects    schedule 09.01.2018