У меня есть вариант использования. Я хочу интегрировать/преобразовывать данные из разных/разрозненных источников без их сохранения. Источниками данных являются база данных (oracle, db2 и т. д.), веб-сервис (Rest/Soap), плоские файлы (CSV, XML, JSON), дампы MQ, системы мейнфреймов. Я хочу извлекать данные из этих источников, выполнять какое-то интеллектуальное преобразование и интеграцию и предоставлять их нашим клиентам. Это похоже на типичный сценарий ETL, но у меня другая ситуация. Мне не разрешено хранить данные, предоставленные отчаянными источниками, то есть, например, я беру данные из оракула, мыла и остальных, и делаю все свои интеллектуальные преобразования и интеграции на лету.
Я просмотрел Google и технические материалы, но не смог найти убедительного решения своей проблемы.
Если вы, ребята, можете помочь мне дать ценную информацию об этой проблеме и дать предложения и вероятные подходы к ней.
Примечание. Размер данных из этих источников иногда может быть очень большим.
Заранее спасибо
