Вопросы по теме 'confluent-schema-registry'
Пример десериализации конфлюентной схемы Spring
Кто-нибудь использовал spring-kafka 2.0.0.Release и создал потребителя, который использует реестр конфлюентных схем в качестве источника для десериализации сообщения? Если да, можете ли вы указать мне пример?
Проблема, которую я пытаюсь решить,...
319 просмотров
schedule
25.10.2021
Соединитель приемника MongoDb :: JsonParseException: средство чтения JSON ожидало значения, но обнаружило 'dist'
Я пытаюсь создать поток данных, в котором издатель mosquitto будет отправлять данные брокеру kafka через MQTT Source Connector, а брокер kafka будет перенаправлять входные данные в базу данных MongoDb через MonoDb Sink Connector. Коннектор источника...
1637 просмотров
schedule
16.09.2021
Очередь мертвых писем JSON Spring Cloud Stream с сообщениями Avro
Я использую Spring Cloud Stream с Avro и Confluent Schema Registry. Я использую одну тему DLQ для всех служб, поэтому сообщения с разной схемой могут попадать в эту тему. Я отключил регистрацию динамической схемы, чтобы не передать неправильное...
257 просмотров
schedule
25.09.2021
Производит ли производитель два разных подключения к брокеру и реестру схемы? Если да, то это HTTP-соединение?
Я использую spring-kafka-2.2.7.RELEASE и имею производителя и потребителя. В моем кластере есть zookeepers, брокеры и реестр схем, а также для обработки проверки схемы avro. Итак, в моей конфигурации производителя я передаю URL-адрес брокера и...
67 просмотров
schedule
01.10.2021
kafka.common.KafkaException: не удалось проанализировать информацию о брокере из zookeeper из EC2 для эластичного поиска
У меня установлен aws MSK, и я пытаюсь перенести записи из MSK в эластичный поиск. Я могу помещать данные в MSK в формат json. Хочу погрузиться в эластичный поиск. Я могу все настроить правильно. Это то, что я сделал на инстансе EC2
wget...
650 просмотров
schedule
04.09.2021
Недопустимое значение по умолчанию Avro для поля объединения
Я пытаюсь сериализовать, а затем записать в реестр схем hortonworks схему avro, но я получаю следующее сообщение об ошибке во время операции записи.
Caused by: java.lang.RuntimeException: An exception was thrown while processing request with...
267 просмотров
schedule
27.10.2021
Как AWS MSK, Confluent Schema Registry и Confluent Kafka Connect рекомендуется использовать вместе?
Мы планируем использовать сервис AWS MSK для Managed Kafka и Schema Registry, а также сервисы Kafka Connect из Confluent вместе для запуска наших коннекторов (Elasticsearch Sink Connector). Мы планировали запустить реестр схем и коннекторы в EC2....
965 просмотров
schedule
14.02.2022
Confluent 4.0.0 Kafka Connect - объект реестра схемы не найден: org.apache.kafka.connect.errors.DataException:
Я проверил 2 похожие проблемы, но это не помогает.
node 1 [/appl/node1/confluent-4.0.0] ./bin/confluent status elasticsearch-sink...
2768 просмотров
schedule
24.02.2022
Как схема из Schema-Registry распространяется через Replicator
Как схемы из Confluent Schema-Registry распространяются с помощью Confluent-Replicator на целевые Kafka-Cluster и Schema-Registry?
Содержится ли в нем каждая схема реплицированного сообщения или схемы каким-то образом реплицируются отдельно через...
438 просмотров
schedule
20.02.2022
Значение сообщения в Confluent Cloud некорректно декодируется
Я новичок в кафке и конфлюэнте. Я написал продюсер, почти идентичный руководству по https://www.confluent.fr/blog/schema-registry-avro-in-spring-boot-application-tutorial/ с моей собственной фиктивной моделью. Application.yaml тоже самое. Когда я...
189 просмотров
schedule
19.02.2022
Используйте kafka-avro-console-продюсер со схемой, уже находящейся в реестре схем
Я хотел бы использовать kafka-avro-console-producer с реестром схем. У меня большие схемы (более 10 тысяч символов), и я не могу передать их в качестве аргумента командной строки. Кроме того, я хотел бы использовать реестр схем напрямую, чтобы...
3763 просмотров
schedule
27.02.2022
Реестру схемы Kafka не удалось зарегистрировать схему - запрос на регистрацию схемы завершился неудачно, так как мастер неизвестен
У меня есть докер-контейнер с изображением confluentinc/cp-schema-registry:5.5.0 в AWS Elastic Container Service (Fargate). Работает только один контейнер. Вызовы API для получения текущих зарегистрированных схем через этот реестр схем работают...
508 просмотров
schedule
08.03.2022
две совершенно разные схемы-реестра для одного и того же брокерского кластера
Я использую реестр двух схем для одного и того же кластера брокера kafka с разными kafkastore.topic на разных машинах.
kafkastore.topic=_DEV_schemas
kafkastore.topic=_QA_schemas
Экземпляр поставляется без проблем и работает нормально. Но...
23 просмотров
schedule
16.03.2022
Как запустить два экземпляра реестра схем
Я пытаюсь запустить Kafka в кластерном режиме, используя два экземпляра реестра схемы, но я не совсем уверен, как настроить второй экземпляр, чтобы он вступал во владение в случае, если первый не работает.
Вот файл свойств для первого экземпляра...
1022 просмотров
schedule
21.03.2022
Где Confluent kafka-avro-console-consumer записывает свои файлы журналов?
Я использую kafka-avro-console-consumer от Confluent как описано в кратком руководстве :
kafka-avro-console-consumer --topic test --zookeeper localhost:2181 --from-beginning
Однако я создал отдельного пользователя kafka для выполнения...
2184 просмотров
schedule
06.04.2022
Невозможно запустить реестр конфлюентных схем
Я установил конфлюентную платформу на машине Ubuntu 16.04, и изначально я настроил zookeeper, Kafka и ksql и запустил объединенную платформу. я вижу сообщение ниже.
root@DESKTOP-DIB3097:/opt/kafkafull/confluent-5.1.0/bin# ./confluent start
This...
4316 просмотров
schedule
01.04.2022
Ошибка сериализации сообщения Avro - реестр схемы Kafka
Я создаю класс avro, который содержит строку и карту в виде полей. Я могу сгенерировать класс avro через maven, и мне удалось создать реестр на localhost: 8081
.avsc файл:
{
"type":"record",
"name":"AvroClass",...
2434 просмотров
schedule
05.04.2022
Форматирование байта в avro
Как остановить преобразование числа в формат байтов при загрузке таблицы Oracle в Kafka с помощью confluent 5.0.0.? Преобразование в байт создает множество проблем при повторном использовании данных в брокере. Есть ли способ напрямую преобразовать...
640 просмотров
schedule
15.04.2022
Kafka - реестр схем недоступен
Я загрузил Confluent Platform (на локальном ноутбуке MacOS) и выполнил инструкции по запуску kafka: https://docs.confluent.io/current/schema-registry/docs/intro.html
~/kafka/confluent-4.0.0/bin » confluent start schema-registry...
999 просмотров
schedule
30.04.2022
Ошибка нераспознанного байта заголовка при попытке декодирования сообщения Avro в Spring Cloud Stream
Я пытаюсь написать тестовый пример для своего приложения Spring Cloud Stream. Я использую Confluent Schema Registry с Avro , поэтому мне нужно декодировать сообщение после опроса с канала. Вот мой код:
processor.input()...
975 просмотров
schedule
02.05.2022
