Вопросы по теме 'debezium'
Разъем дебезиума вставляем ключ кафка как авро?
Я ищу соединитель debezium mysql для потоковой передачи записей CDC в kafka с ключом как строка (не avro для ключа) и значением как запись avro. По умолчанию он делает ключ как запись avro. Какие-либо предложения ?
542 просмотров
schedule
26.11.2021
ES Коннектор мойки debezium останавливается с ошибкой
Чтобы понять, как работает cdc, я работал со следующим примером, приведенным на сайте debezium https://debezium.io/blog/2018/03/08/creating-ddd-aggregates-with-debezium-and-kafka-streams/ .
В этом случае, если я попытаюсь изменить соединитель...
585 просмотров
schedule
08.11.2021
Есть ли возможность установить собственный коэффициент репликации в Debezium?
Я хочу использовать настраиваемый коэффициент репликации во всех моих темах при создании. Я использую кластер из 7 узлов, и я хочу установить 5 как фактор репликации для всех моих тем.
136 просмотров
schedule
20.10.2021
Как доработать коннектор кафка?
Я создал коннектор debezium на докере, используя curl на терминале, и я застрял в изменении существующего коннектора.
Мой файл докеров:
---
version: '3'
services:
kafka-connect-02:
image: confluentinc/cp-kafka-connect:latest...
1344 просмотров
schedule
09.12.2021
Исходный соединитель Debezium SQL Server пропускает записи после перезапуска соединителя
Я использую исходный соединитель Debezium CDC SQL Server, чтобы брать данные с SQL-сервера и помещать их в Kafka. Я использую следующие конфигурации:
name=ds1
connector.class=io.debezium.connector.sqlserver.SqlServerConnector
tasks.max=1...
140 просмотров
schedule
07.09.2021
ключ сообщения kafka в качестве ключевого поля / столбца в HDFS
Поэтому я использую debezium key.field.name в моем исходном коннекторе MySQL, чтобы добавить поле в свою тему.
Сообщение выглядит ниже после перехода по теме....
114 просмотров
schedule
24.09.2021
Проблемы с соединителем Debezium MS SQL Server
Кафка новичок здесь.
Настройка среды
ОС: Ubuntu 20.04
Kafka устанавливается локально на машине в домашней папке. Обе службы Kafka и Zookeeper работают.
Я пытаюсь настроить подключение Kafka для подключения к базе данных, размещенной в...
148 просмотров
schedule
07.11.2021
Коннектор исходного кода Kafka для postgres - загрузка Day0
Я ищу исходный коннектор Kafka для загрузки Day0 из Postgres в Kafka.
Наткнулся на Debezium postgres connector.
Образ докера,
debezium/connect:1.4
docker run -it --rm --name postgres-connect -p 8083:8083 -e BOOTSTRAP_SERVERS=host1:8080 -e...
132 просмотров
schedule
18.11.2021
Настройте Debezium для подключения к данному экземпляру mySQL
Скажем, я получу несколько экземпляров MySQL и мне придется передавать данные в реальном времени. Поэтому для этого я запустил несколько служб в контейнере Docker, используя перечисленные ниже команды, которые подключают меня к образцу базы данных...
345 просмотров
schedule
24.02.2022
Postgres Debezium CDC не публикует изменения в Kafka
Моя текущая конфигурация тестирования выглядит так:
version: '3.7'
services:
postgres:
image: debezium/postgres
restart: always
ports:
- "5432:5432"
zookeeper:
image: debezium/zookeeper
ports:
- "2181:2181"...
1608 просмотров
schedule
15.03.2022
Debezium - MySQL вручную меняет позицию бинарного журнала из смещения соединения
У меня есть работающая установка debezium для выполнения CDC из MySQL. Теперь я хочу создать еще один коннектор MySQL для другого сервера MySQL. Но мне не нужен снимок для существующих данных, я хочу запустить новый коннектор debezium из...
498 просмотров
schedule
31.03.2022
Есть ли способ настроить коннектор приемника и источника для этого коннектора debezium?
Я использую debezium-коннектор, найденный здесь: https://repo1.maven.org/maven2/io/debezium/debezium-connector-oracle/1.4.0.Final/debezium-connector-oracle-1.4.0.Final-plugin.tar.gz
И я следую этим инструкциям для docker-compose:...
127 просмотров
schedule
23.04.2022
Debezium oracle on confluent Не найдено подходящего драйвера для jdbc: oracle: oci
Когда я создаю исходный коннектор kafka jdbc (коннектор debezium для oracle с confluent-5.4.0), получаю сообщение об ошибке «Не найден подходящий драйвер для jdbc: oracle: oci ...».
[2020-03-23 11:49:44,521] ERROR...
387 просмотров
schedule
29.04.2022
Метаданные транзакции Debezium - с SQL Server не получено событие `END`
Я пытаюсь заставить работать метаданные транзакции с debezium 1.4.1.Final с использованием базы данных SQL Server.
Кажется, в какой-то степени это работает - тема dbservername.transaction была создана, и когда я запускаю сохраненную процедуру,...
59 просмотров
schedule
14.05.2022
Есть ли эквивалентная команда Debezium для запуска Kafka Connect без контейнера Docker?
Команда подключения debezium kafka: docker run -it --rm --name connect -p 8083:8083 -e GROUP_ID=1 -e CONFIG_STORAGE_TOPIC=my_connect_configs -e OFFSET_STORAGE_TOPIC=my_connect_offsets -e STATUS_STORAGE_TOPIC=my_connect_statuses --link...
710 просмотров
schedule
05.06.2022
TimeoutException при попытке запустить коннектор источника Pulsar
Пытаюсь запустить коннектор Pulsar DebeziumPostgresSource .
Это команда, которую я выполняю:
bin/pulsar-admin \
--admin-url https://localhost:8443 \
--auth-plugin org.apache.pulsar.client.impl.auth.AuthenticationToken \
--auth-params...
325 просмотров
schedule
26.06.2022
Как разделить сообщения database.history и сообщения о строках в коннекторе Debezium?
Я создал коннектор Debezium в Kafka Connect. Он работает, но если я хочу добавить какой-либо SMT, он ломается - существует другая структура сообщения для изменений DDL (например, изменения в схеме таблицы) и разная для изменений в строках.
{...
199 просмотров
schedule
29.06.2022
гарантийные мероприятия заказать в debezium
в документе debezium структура ключа события изменения похожа на
{
"schema": {
"type": "struct",
"name": "mysql-server-1.inventory.customers.Key",
"optional": false,
"fields": [
{
"field": "id",
"type": "int32",...
54 просмотров
schedule
02.10.2022
при создании коннектора kafka используйте localhost: 8083, всегда получайте сообщение об ошибке: curl (7) соединение отклонено
Я пытаюсь подключить MySql к Kafka с помощью Debezium. Это REST API, который я пытаюсь выполнить.
curl -i -X POST -H "Accept:application/json" \
-H "Content-Type:application/json" http://localhost:8083/connectors/ \
-d '{
"name":...
2179 просмотров
schedule
13.12.2022
Можно ли применять SMT (преобразования отдельных сообщений) только к сообщениям из указанных тем
Я транслирую события изменения базы данных из базы данных MySql в Kafka с помощью коннектора Debezium MySql. Мне нужно применить определенные преобразования к записям из некоторых указанных таблиц (но не из других). Есть ли способ сделать это с...
383 просмотров
schedule
29.04.2023
