Вопросы по теме 'kafka-consumer-api'
Непостоянные значения задержки раздела при использовании потребителя высокого уровня для чтения журналов Kafka
Все наши 30 тем созданы с 10 разделами в нашей кафке. Мы отслеживаем отставание по разделам для всех идентификаторов тем / групп.
Мы используем плагин Fluentd для чтения и маршрутизации журналов из kafka. Плагин реализован с использованием...
684 просмотров
schedule
08.11.2021
Потребитель Kafka - Java (0.9 API)
Я искал создание потребителя Kafka с использованием версии 0.9 API. Объясните, пожалуйста, что такое ребалансировка потребителей? В чем разница между упомянутым здесь потребителем и координатором? Также, пожалуйста, не могли бы вы объяснить...
304 просмотров
schedule
28.09.2021
Может ли потребитель Kafka (0.8.2.2) читать сообщения в пакетном режиме
Насколько я понимаю, потребитель Kafka последовательно читает сообщения из назначенного раздела ...
Мы планируем иметь несколько потребителей Kafka (Java), которые будут иметь ту же группу, что и я ... поэтому, если он будет читать последовательно...
18107 просмотров
schedule
22.10.2021
Создание и использование сообщений Avro из Kafka без компонентов Confluent
Я пытаюсь найти пример, в котором я могу создавать и подписывать сообщения avro от kafka.
На данный момент я хочу использовать «обычное» развертывание кафки без каких-либо сливающихся надстроек.
Это возможно? Все примеры, которые я нашел до сих...
1802 просмотров
schedule
24.09.2021
Будет ли групповой кординатор лечить мертвого потребителя kafka (0.9), если он не вызывает poll () очень долгое время?
https://www.safaribooksonline.com/library/view/kafka-the-definitive/9781491936153/ch04.html упоминается, что "Пока потребитель отправляет контрольные сообщения через регулярные промежутки времени, предполагается, что он находится в рабочем...
1942 просмотров
schedule
15.10.2021
Заказ нескольких разделов в Kafka
Я знаю, что в Kafka невозможно заказать несколько разделов и что порядок разделов гарантируется только для одного потребителя в группе (для одного раздела). Однако с Kafka Streams 0.10 теперь возможно этого добиться? Если мы используем функцию...
6532 просмотров
schedule
08.11.2021
Apache Apex - Kafka 0.9 безопасные темы kafka
Может кто-нибудь, пожалуйста, помогите мне понять,
Есть ли в apache apex какой-либо встроенный оператор ввода кафка для чтения из безопасных тем Kafka 0.9?
170 просмотров
schedule
23.09.2021
KafkaStream не получает сообщений от темы
Я играю с KafkaStreams и KafkaConnect , просто пытаюсь получить сообщения из темы. У меня есть "стандартный" пакетный потребитель, настроенный для этой темы, и он отлично работает. Сначала я отправляю пару записей в Kafka, а потом использую их....
181 просмотров
schedule
13.10.2021
Нужен потребитель Kafka, который будет получать данные в пакетном режиме
Я искал о пакетном потребителе Kafka и не нашел никакой ценной информации.
Пример использования:
Производитель будет производить данные очень часто, и на потребительском сайте мы будем потреблять данные и от потребителя, и мы будем публиковать...
150 просмотров
schedule
21.09.2021
Spark Direct Streaming - используйте одно и то же сообщение у нескольких потребителей
Как использовать Kakfa topic messages у нескольких потребителей, используя Direct Stream approach?
Является ли это возможным? Поскольку подход Direct Stream не имеет Consumer Group концепции.
Что произойдет, если я передам group.id как...
480 просмотров
schedule
17.09.2021
Как прочитать одно и то же сообщение кафки на нескольких потребителях
Я очень новичок в интеграции Kakfa Spring. Я реализовал отправку сообщений Kafka и One Listener, и он отлично работает для меня. Но я хочу, чтобы Слушатель отправил одно и то же сообщение в двух местах. Может кто-нибудь мне помочь. Ниже мой код....
1333 просмотров
schedule
29.09.2021
Как я могу использовать данные последовательно (в порядке их отметки времени) из многораздельной темы Kafka
Я знаю, что Kafka не сможет гарантировать упорядочение данных, если тема имеет несколько разделов. Но моя проблема заключается в следующем: - Мне нужно иметь несколько разделов для темы события (действия пользователя, генерирующие события), поскольку...
1683 просмотров
schedule
09.09.2021
Как заставить Kafka Source повторно подключаться при перезапуске Kafka
Я создаю Source записей потребителей с помощью Reactive Kafka следующим образом:
val settings = ConsumerSettings(system, keyDeserializer, valueDeserializer)
.withBootstrapServers(bootstrapServers)
.withGroupId(groupName)
// what offset to begin...
2559 просмотров
schedule
29.10.2021
Как API высокого / низкого уровня kafka получает сообщения от брокера?
Насколько я знаю, потребитель kafka может использовать API poll () только для получения сообщений от брокера, однако мы знаем, что мы также можем использовать API высокого / низкого уровня kafka для получения сообщений от брокера, так какова связь...
528 просмотров
schedule
14.09.2021
Значение конфигурации Kafka bootstrap.servers как подмножество брокеров
Для конфигурации kafka bootstrap.servers необходимо предоставить все детали брокера.
Если нет, как производитель / потребитель кафки разрешит всех доступных брокеров?
Если да, нужен ли производителю / потребителю перезагрузка после добавления...
1599 просмотров
schedule
06.09.2021
Как Kafka хранит смещения для каждой темы?
Опрашивая Kafka, я подписался на несколько тем, используя функцию subscribe() . Теперь я хочу установить смещение, с которого я хочу читать из каждой темы, без повторной подписки после каждых seek() и poll() из темы. Достигнет ли результата...
20332 просмотров
schedule
02.11.2021
Spring Kafka Consumer - Печать информации о задержке Kafka
Я создал Spring-потребителя kafka, который читает из темы. Есть ли способ распечатать информацию о задержке, подобную тому, как мы печатаем информацию о разделах?
2378 просмотров
schedule
02.10.2021
Кафка-потребитель. commitSync против commitAsync
Цитата из
Недостатком является то, что, хотя commitSync () будет повторять фиксацию до тех пор, пока не завершится успешно или не встретит неповторяемую ошибку, commitAsync () не будет повторять попытку.
Мне эта фраза не понятна. Я...
22365 просмотров
schedule
19.10.2021
Kafka Consumer перебалансирует только с одним потребителем в группе
Когда только один потребитель присутствует в группе и считает, что потребитель не может опросить в пределах session.time.out, тогда будет запущена перебалансировка, но в этом сценарии у нас есть только один потребитель в группе, теперь допустим,...
472 просмотров
schedule
04.12.2021
Как подключить Kafka к Elasticsearch?
Я новичок в Kafka, я использую kafka для сбора netflow через logstash (это нормально), и я хочу отправить данные в elasticsearch из kafka, но есть некоторые проблемы. Мой вопрос: как я могу подключить Kafka к Elasticsearch? netflow в конфигурацию...
24567 просмотров
schedule
05.10.2021
