Мне нужно написать Java-приложение, которое читает из потока Kinesis и хранит данные в теме Kafka. Я не могу использовать коннектор, мне приходится использовать Kafka Streams, потому что здесь задействовано много логики. Может ли Kafka Stream читать напрямую из потока Kinesis, или мне нужно сначала сохранить данные в теме Kafka, чтобы они были прочитаны Kafka Stream?
Я много читал о потоках Kafka и никогда не видел примера, чтобы поток Kafka читал что-то еще, кроме темы Kafka.
Kafka Streams подключается только к одному кластеру Kafka и теме чтения / записи. Он не может читать или писать в любую другую систему.
Если мы хотим получить данные в Kafka (или экспортировать их из Kafka), вы можете использовать Kafka Connect. Для простого преобразования данных Connect предлагает так называемые «преобразования одного сообщения» (SMT), которые вы можете использовать. Для более сложного преобразования вам нужно сначала импортировать данные без изменений, а затем использовать Kafka Streams для их соответствующего преобразования.
