У меня есть вариант использования, когда мне нужно «присоединиться» к нескольким темам Kafka на основе некоторых критериев в сборщике данных StreamSets. Интересно, есть ли какая-нибудь общепринятая идиома, которая могла бы решить такую проблему?
Как присоединиться к нескольким темам Kafka в сборщике данных StreamSets?
Ответы (2)
Сборщик данных StreamSets на самом деле не является подходящим инструментом для такого рода задач, поскольку конвейер сборщика данных может иметь только один источник.
Вам следует обратить внимание на StreamSets Transformer, который создан на основе Spark специально для возможности объединения нескольких потоков данные и выполнять аналогичные задачи.
person
metadaddy
schedule
05.12.2019
