Пытался выяснить, можно ли объединить с помощью apache NiFi или Streamsets. Чтобы я мог периодически читать данные из HBase, присоединяться к другим таблицам и записывать несколько полей в таблицу Hive.
Или есть какой-либо другой инструмент диспетчера рабочих процессов, поддерживающий эту операцию?
Я не знаком с Streamsets, но постараюсь помочь с NiFi. Ваш плоский файл статичен? Если да, то хотите ли вы произвести прямую замену ценностей? У вас должна быть возможность использовать ReplaceTextWithMapping для этого. Если не прямая замена, вы можете предварительно заполнить DistributedMapCache со значениями из плоского файла, затем используйте FetchDistributedMapCache, чтобы выполнить поиск по записям HBase.
Если ничего не помогает, то, если вы хорошо знакомы с языком сценариев, таким как Groovy, Javascript или Jython, вы можете написать часть «соединения», используя ExecuteScript или InvokeScriptedProcessor.
Есть открытый кейс Jira (с некоторым хорошим прогрессом) при поиске / enrichment процессор, который поддерживает файлы CSV, файлы свойств и поиск в памяти.
