Вопросы по теме 'apache-kafka-streams'
Заказ нескольких разделов в Kafka
Я знаю, что в Kafka невозможно заказать несколько разделов и что порядок разделов гарантируется только для одного потребителя в группе (для одного раздела). Однако с Kafka Streams 0.10 теперь возможно этого добиться? Если мы используем функцию...
6532 просмотров
schedule
08.11.2021
Выдача значений из ktable и их изменение
Пытаюсь решить следующую проблему с кафкой. Есть тема. назовем это src-topic. Время от времени я получаю записи из этой темы. Я хотел бы сохранить эти значения в ktable и передавать значения, хранящиеся в ktable, каждые 10 секунд в dst-topic....
266 просмотров
schedule
23.11.2021
Kafka Streams: обработка устаревания событий в потоке по истечении срока действия окна
В настоящее время я использую потоки kafka для сопоставления связанных событий в окне. В случае, если все связанные события не поступают в окно, есть ли способ в потоках Kafka, где мы получаем дескриптор событий, срок действия которых истек. Это...
2247 просмотров
schedule
23.11.2021
потоки кафки - богатые картографы
вопрос : у меня есть записи в теме kafka, которые необходимо дополнить метаданными из базы данных MySQL (среди прочего). Используя Flink, можно реализовать rich mappers , поэтому соединение можно повторно использовать для нескольких записей....
245 просмотров
schedule
23.09.2021
Kafka: эффективное присоединение оконных агрегатов к событиям
Я создаю прототип приложения для мошенничества. У нас часто есть такие показатели, как «общая сумма транзакций с наличными за последние 5 дней», которые нам нужно сравнить с некоторым порогом, чтобы определить, генерируем ли мы предупреждение.
Мы...
912 просмотров
schedule
28.10.2021
Приложение Kafka Streams отделяет чтение от записи
Я новичок в Kafka и Kafka Streams, так что терпите меня. Я хотел бы знать, на правильном ли я здесь пути.
Я сейчас пишу в тему Kafka и пытаюсь получить доступ к данным через службу отдыха. Необработанные данные необходимо преобразовать, прежде...
207 просмотров
schedule
27.09.2021
API Streams Apache Kafka против потоковой передачи Spark
Я сравниваю пропускную способность потоковой передачи искр и потоков Kafka. Мои результаты показывают, что у Kafka Streams более высокая пропускная способность, чем у потоковой передачи Spark. Это верно? Разве не должно быть наоборот?
Спасибо
698 просмотров
schedule
23.09.2021
Совместное размещение Kafka Consumer. (Логика распределения раздела-потребителя)
Суть распределенных вычислений состоит в том, чтобы совместить выполнение с данными или, другими словами, отправить ваш код в ваши данные, а не ваши данные в ваш код. Это основной дизайн Hadoop, Spark и т. Д.
Допускает ли Kafka / Kafka Streams...
317 просмотров
schedule
17.11.2021
как сгенерировать идентификатор для сообщения при использовании потока Kafka?
Я хочу попробовать реализовать нормальную систему чата после того, как прочитал много артефактов в сливающейся кафке. Но я столкнулся с некоторыми проблемами при проектировании конструкции. При использовании mysql в качестве базы данных моих данных...
2522 просмотров
schedule
18.11.2021
Kafka Streams: как избежать повторной переадресации нисходящего потока дважды при перераспределении
В моем приложении есть экземпляры KafkaStreams с очень простой топологией: есть один процессор с хранилищем ключ-значение, и каждое входящее сообщение записывается в хранилище, а затем направляется вниз по потоку в приемник.
Я хотел бы увеличить...
452 просмотров
schedule
04.10.2021
Обновления приложения Kafka Streams
Я создал приложение Kafka Streams. Это мой первый вопрос, поэтому я перехожу от мышления, основанного на доказательстве концепции, к вопросу «как я могу это реализовать?» образ мышления.
Версия tl; dr: Я ищу рекомендации и советы по...
808 просмотров
schedule
27.09.2021
Kafka Streams - Агрегация со старым состоянием
У меня есть KStream с данными из темы to1 , например:
T1-KEY -> {T1}
T2-KEY -> {T2}
и KTable , построенный следующим образом:
Я использую org.apache.kafka.streams.StreamsBuilder для создания KTable из некоторой темы to2 ,...
1007 просмотров
schedule
27.09.2021
KafkaStreams не запущен. Состояние - ОШИБКА
У меня есть потребительский класс Kafka, который прослушивает события и выполняет соединение между событиями (Order, Customer) и сохраняет их в материализованном виде. Я создал другой класс для доступа к хранилищу состояний при получении вызова REST....
4543 просмотров
schedule
25.11.2021
KStream в KTable
@StreamListener("input")
@SendTo("output")
public KStream<?, MyObject> process(KStream<Object, IncomingObject> input) {
KTable table = input.flatMapValues(value -> this.getMylogic(value));
return table.toStream();
}
Я...
1317 просмотров
schedule
22.10.2021
Kafka Streams: смешивание и сопоставление PAPI и DSL KTable без совместного разделения
У меня есть смешанная топология Scala, где основным рабочим является процессор PAPI, а другие части подключаются через DSL.
EventsProcessor:
INPUT: eventsTopic
OUTPUT: visitorsTopic (and others)
Данные по всем темам (включая исходный...
151 просмотров
schedule
02.11.2021
Вопросы об использовании Apache Kafka Streams для реализации микросервисов источников событий
Поиск событий означает сдвиг на 180 градусов в способах проектирования и разработки веб-приложений для многих из нас, с множеством преимуществ, но также и с множеством проблем.
Apache Kafka - потрясающая платформа, которая через API Apache Kafka...
544 просмотров
schedule
11.10.2021
Разница между KTable и местным магазином
Какая разница между этими сущностями?
На мой взгляд, KTable - простая кафка-тема с compaction политикой удаления. Кроме того, если для KTable включено ведение журнала, то есть также журнал изменений и политика удаления compaction,delete ....
8651 просмотров
schedule
22.10.2021
Почему в хранилище состояний возникает ошибка сериализации?
Я использую Kafka Streams 1.1.0.
Я создал следующую топологию:
Topologies:
Sub-topology: 0
Source: KSTREAM-SOURCE-0000000001 (topics: [configurationTopicName])
--> KTABLE-SOURCE-0000000002
Processor: KTABLE-SOURCE-0000000002...
488 просмотров
schedule
16.09.2021
Как получить отсортированный KeyValueStore из KTable?
Я хочу материализовать KTable из KStream, и я хочу, чтобы KeyValueStore был отсортирован по ключу.
Я попытался найти спецификацию API KTable ( https://kafka.apache.org/20/javadoc/org/apache/kafka/streams/kstream/KTable.html ), но метода сортировки...
1243 просмотров
schedule
22.11.2021
Как отправлять заголовки с помощью KStream
Я работаю над вариантом использования, в котором я создал конвейер, который отправляет данные из mongo в elasticsearch.
Mongo -> Spring Boot -> Kafka -> Transformer (KStream) -> Kafka -> Consumer (Отправить в эластичный поиск.)
Мне нужно...
2194 просмотров
schedule
21.10.2021
