Вопросы по теме 'confluent-platform'
pypy5.6 установить confluent_kafka причина: неопределенный символ Ошибка PyUnicode_FromFormat
При установке confluent_kafka на pypy5.6 появляется ошибка: undefined symbol Ошибка PyUnicode_FromFormat, я не знаю, как это произошло？
ОС: CentOs5.6
полный вывод ошибки:
Python 2.7.12 (aff251e543859ce4508159dd9f1a82a2f553de00, Nov 12 2016,...
930 просмотров
schedule
08.09.2021
Настройка Kafka с помощью docker-compose
Привет, я сейчас настраиваю Kafka с Docker. Мне удалось настроить Zookeeper и Kafka с опубликованным объединенным образом, см. Следующий файл для создания докеров:
version: '2'
services:
zookeeper:
image: confluentinc/cp-zookeeper:3.2.0...
15090 просмотров
schedule
25.11.2021
как сгенерировать идентификатор для сообщения при использовании потока Kafka?
Я хочу попробовать реализовать нормальную систему чата после того, как прочитал много артефактов в сливающейся кафке. Но я столкнулся с некоторыми проблемами при проектировании конструкции. При использовании mysql в качестве базы данных моих данных...
2522 просмотров
schedule
18.11.2021
Пример десериализации конфлюентной схемы Spring
Кто-нибудь использовал spring-kafka 2.0.0.Release и создал потребителя, который использует реестр конфлюентных схем в качестве источника для десериализации сообщения? Если да, можете ли вы указать мне пример?
Проблема, которую я пытаюсь решить,...
319 просмотров
schedule
25.10.2021
Выполняется постепенное обновление с Apache Kafka (kafka_2.10-0.10.1.1) до Confluent Platform 4.0
Мы пытаемся выполнить последовательное обновление с Apache Kafka версии kafka_2.10-0.10.1.1 до Kafka, предоставляемого Confluent 4.0 , и мы также хотим сохранить текущие данные. .
Вот шаги, которые мы выполнили:
Завершите работу брокера...
1627 просмотров
schedule
30.09.2021
Управление смещением - Конфлюентный соединитель JDBC в режиме запроса
Согласно объединенной документации, когда мы используем режим запроса, мы должны управлять смещением. Насколько я понимаю, нам нужно отслеживать последнюю обновленную временную метку и передавать ее в предложении where при каждом перезапуске...
246 просмотров
schedule
09.10.2021
Журналы в Kafka connect Distributed
Я использую Kafka connect в распределенном режиме (в кластере из 3 узлов). Журналы, создаваемые одним соединителем в виртуальной машине 1, совпадают с журналами виртуальных машин 2 и 3?
Соединитель, работающий на 3 виртуальных машинах, - это...
501 просмотров
schedule
16.11.2021
Kafka подключает значение чтения на основе ключа и записывает в HDFS
Есть ли способ перенести только определенный тип события из темы kafka в HDFS, фильтруя остальные типы с помощью коннектора kafka connect HDFS?
можем ли мы разделить входные события на основе некоторого ключа и записать в разные разделы. Чтобы...
582 просмотров
schedule
06.11.2021
Настройка нескольких приемников kafka connect
Я работаю над потоковой передачей данных из postgreSQL в HDFS. У меня была настроена конфлюентная среда в песочнице HDP 2.6. Мои исходные конфигурации jdbc для postgreSQL:
name=jdbc_1...
1552 просмотров
schedule
10.11.2021
kafka смещение и отставание неизвестны для некоторых разделов темы
Я использую потребителя из https://github.com/confluentinc/confluent-kafka-go . Версия кафки - 0.10.1.0.
Вот конфигурация моего потребителя:
kafkaClient, err := kafka.NewConsumer(&kafka.ConfigMap{
"bootstrap.servers":...
2870 просмотров
schedule
23.11.2021
Соединитель приемника MongoDb :: JsonParseException: средство чтения JSON ожидало значения, но обнаружило 'dist'
Я пытаюсь создать поток данных, в котором издатель mosquitto будет отправлять данные брокеру kafka через MQTT Source Connector, а брокер kafka будет перенаправлять входные данные в базу данных MongoDb через MonoDb Sink Connector. Коннектор источника...
1637 просмотров
schedule
16.09.2021
Как отправлять и использовать json-сообщения с помощью confluent-kafka в Python
Я новичок в Python и начинаю работать с Kafka. Итак, я установил брокера Kafka и пытаюсь связаться с ним, используя confluent-kafka . . Я мог создавать и использовать простые сообщения, используя его, однако у меня есть некоторые объекты django,...
2949 просмотров
schedule
20.09.2021
Kafka подключает приемник JDBC - сопоставление вложенного json-файла с несколькими строками
В рамках требований мы продолжим подключение Kafka для передачи данных в нашу базу данных. До сих пор я читал, что между сообщением и строкой db будет отображение 1x1, т.е. для одного сообщения в Kafka будет соответствующая запись в базе данных. Я...
491 просмотров
schedule
12.09.2021
InvalidStateStoreException при присоединении к KStream с использованием GlobalKtables
У меня есть приложение Kafka Streams, в котором я присоединяюсь к KStream, который читает из topic1 с GlobalKTable, который читает из topic2, а затем с другим GlobalKTable, который читает из topic3.
Когда я пытаюсь отправить сообщения во все 3 темы...
257 просмотров
schedule
11.09.2021
Как настроить kafka кластер с использованием конфлюентных образов докеров
Я попытался настроить 3-узловой кластер kafka, используя сливающиеся образы докеров.
https://hub.docker.com/r/confluentinc/cp-kafka
https://hub.docker.com/r/confluentinc/cp-zookeeper
docker run -d --restart always --name zk-1 -e zk_id=1...
2083 просмотров
schedule
05.11.2021
Kafka connect JDBC source connector не работает
Всем привет, я использую исходный коннектор Kafka JDBC для postgres. Ниже представлена конфигурация моего разъема. Каким-то образом это не приносит никаких данных. Что не так в этой конфигурации?
{
"name": "test-connection",
"config":...
729 просмотров
schedule
14.09.2021
Как отправить json-сообщение из Kinesis в MSK, а затем в эластичный поиск с помощью kafka connect
Я настроил все готово, и поток тоже работает. Я отправляю свои данные из потока Kinesis в MSK с помощью лямбда-функции, и формат сообщения указан ниже.
{
"data": {
"RequestID": 517082653,...
445 просмотров
schedule
06.12.2021
KSQL объединяет потоки с условием для поля структуры
У меня есть два потока, каждый из которых определен в теме, в которой сообщения JSON публикуются примерно так:
{"payload": {"some_id": "123"}}
Соответствующие им потоки определяются следующим образом:
CREATE STREAM mystream
(payload...
208 просмотров
schedule
02.10.2021
Kafka connect не может найти брокера в докере
У меня есть файл docker-compose для настройки инфраструктуры Kafka. Проблема в том, что когда я запускаю docker-compose в первый раз на машине, все контейнеры работают нормально, но когда я ОСТАНАВЛЯЮ / УДАЛЯЮ контейнеры и повторно запускаю...
1006 просмотров
schedule
29.09.2021
Ошибка Confluent Platform при запуске zookeeper - путь к классам пуст
Я загрузил Confluent Platform на свой локальный компьютер с Windows и попытался запустить zookeeper, но это дает мне ошибку ниже:
c:\confluent>.\bin\windows\zookeeper-server-start.bat .\etc\kafka\zookeeper.prop
erties
Classpath is empty....
73 просмотров
schedule
28.09.2021
