Вопросы по теме 'kafka-producer-api'
Каким образом гарантируется упорядочивание во время сбоев в Kafka Async Producer?
Если я использую производителя Kafka Async, предположим, что в буфере находится X сообщений. Когда они фактически обрабатываются на клиенте, и если брокер или определенный раздел не работает на какое-то время, клиент kafka будет повторять попытку, и...
1977 просмотров
schedule
10.11.2021
Создание и использование сообщений Avro из Kafka без компонентов Confluent
Я пытаюсь найти пример, в котором я могу создавать и подписывать сообщения avro от kafka.
На данный момент я хочу использовать «обычное» развертывание кафки без каких-либо сливающихся надстроек.
Это возможно? Все примеры, которые я нашел до сих...
1802 просмотров
schedule
24.09.2021
Заказ нескольких разделов в Kafka
Я знаю, что в Kafka невозможно заказать несколько разделов и что порядок разделов гарантируется только для одного потребителя в группе (для одного раздела). Однако с Kafka Streams 0.10 теперь возможно этого добиться? Если мы используем функцию...
6532 просмотров
schedule
08.11.2021
Как прочитать одно и то же сообщение кафки на нескольких потребителях
Я очень новичок в интеграции Kakfa Spring. Я реализовал отправку сообщений Kafka и One Listener, и он отлично работает для меня. Но я хочу, чтобы Слушатель отправил одно и то же сообщение в двух местах. Может кто-нибудь мне помочь. Ниже мой код....
1333 просмотров
schedule
29.09.2021
Как я могу использовать данные последовательно (в порядке их отметки времени) из многораздельной темы Kafka
Я знаю, что Kafka не сможет гарантировать упорядочение данных, если тема имеет несколько разделов. Но моя проблема заключается в следующем: - Мне нужно иметь несколько разделов для темы события (действия пользователя, генерирующие события), поскольку...
1683 просмотров
schedule
09.09.2021
Оптимизация продюсера Kafka
У меня есть огромное количество записей данных, которые нужно создать для Kafka с использованием пакетной обработки и сжатия.
Я пробовал многие свойства производителя, чтобы исправить исключение / тайм-аут при отправке данных брокеру.
My one...
267 просмотров
schedule
10.10.2021
Пропускная способность производителя при варьировании acks = 0,1, -1
Я проводил несколько тестов производительности с кластером kafka для своего проекта. У меня вопрос относительно функции send call и свойства производителя «acks». Я видел ниже номера с приведенным ниже вызовом отправки вызова. Это простой вызов...
1683 просмотров
schedule
02.12.2021
Попытка настроить потребителя и производителя в Кафке
Я пытаюсь создать простой поток между производителем и потребителем через Kafka, используя node-rdkafka
Я использую режим debug: 'all' , вот что я получаю из логов:
Производитель: test [0]: MessageSet with 1 message(s) delivered...
101 просмотров
schedule
17.10.2021
Производитель приложения загрузки Kafka Spring и не может отразить это с помощью Kafka Sink Connector с форматом Avro
Моя цель - у меня есть производитель приложений для весенней загрузки kafka со свойством сериализации Avro , и я исключаю сообщение, которое отправляется в соответствующую тему, к которой должен быть доступ через сливной коннектор Sink Connector и...
980 просмотров
schedule
22.09.2021
Если потребитель обрабатывает сообщения, а затем отправляет сообщения обратно в Kafka
Я хочу обрабатывать данные от потребителя с помощью topic1, а затем отправлять сообщения обратно в Kafka на topic2
Kafka --> Consumer (processing messages) from topic1, then call a Producer to send processed message to topic2 --> Kafka...
250 просмотров
schedule
27.11.2021
Запись в тему Kafka успешна только в том случае, если запись в реплики каждого раздела успешна?
Запись в тему Kafka успешна только в том случае, если запись в реплики каждого раздела успешна? Или есть кворум, который можно настроить?
Предположим, у вас есть
Режиссер
Server1 с Topic1 Partition1 (Leader)
Server2 с Topic1 Partition1...
185 просмотров
schedule
27.11.2021
заголовки kafka, у потребителя
Я хотел бы использовать функцию заголовков Kafka. При создании событий я бы установил заголовок. Затем, по мере потребления, я читал заголовок и принимал решение на основе содержимого этого заголовка.
См. KIP:...
374 просмотров
schedule
30.09.2021
Kafka Producer в eclipse не отправляет сообщения в тему
Я не могу отправлять сообщения от KafkaProducer с использованием java из eclipse в Windows (ОС хоста) в тему kafka, работающую в Hortonworks Sandbox. Мой код Java ниже
import java.util.Properties;
import java.util.concurrent.Future;
import...
1219 просмотров
schedule
04.12.2021
Как агрегировать данные json в потребителе kafka с помощью Python?
мои данные, созданные в теме транзакций KAFKA, выглядят следующим образом:
ConsumerRecord (topic = 'Transactions', partition = 0, offset = 3, timestamp = 1591277946735, timestamp_type = 0, key = None, value = {'transaction_id': '9495601361',...
211 просмотров
schedule
21.09.2021
Apache Kafka - сообщение без ключа
Просматривая определенное руководство по кафке, я наткнулся на эту фразу
Если ключ равен нулю и используется разделитель по умолчанию, запись будет отправлена в один из доступных разделов темы в случайном порядке. Для балансировки сообщений...
975 просмотров
schedule
29.11.2021
Производитель шаблонов Java Spring Kafka потерял сообщения при перезапуске брокера
Я использую spring -boot (2.1.6.RELEASE) с spring-kafka (2.2.7.RELEASE), и я отправляю сообщения в свой кластер kafka с помощью KafkaTemplate. Но иногда (обычно, когда я перезапускаю кафка-брокер или выполняю ребалансировку) я вижу такие ошибки,...
408 просмотров
schedule
02.11.2021
Кафка: автоматическое создание темы с опциями
Использую автосоздание тем в Кафке. Некоторые темы требуют уплотнения, некоторые нет.
Можно ли указать собственные параметры при автоматическом создании темы; или мне нужно проверить наличие и создать его «вручную» с желаемыми параметрами, прежде...
144 просмотров
schedule
08.10.2021
Как мы можем сбросить тему кафки в presto
Мне нужно вставить файл JSON в тему Kafka, подключить тему в presto и структурировать данные JSON в запрашиваемую таблицу.
Я следую этому руководству https://prestodb.io/docs/current/connector/kafka-tutorial.html#step-2-load-data .
Я не могу...
139 просмотров
schedule
15.10.2021
td-agent fluentd не может отправлять сообщения в Kafka
У меня был td-agent, который без проблем отправлял сообщения в очередь Kafka. Но теперь я получаю следующую ошибку. Я безуспешно перезапустил агент. Я очистил буфер вручную, но безуспешно.
Любые советы по поводу происходящего приветствуются....
1124 просмотров
schedule
22.02.2022
Получение acks = -1, когда я устанавливаю acks для всех в моем продюсере Kafka
Я установил следующее свойство для своего продюсера Kafka:
properties.setProperty(ProducerConfig.ACKS_CONFIG, "all");
Когда я запускаю свое приложение, я вижу acks = -1 в ProducerConfig values . Почему это?
227 просмотров
schedule
23.02.2022
