Вопросы по теме 'apache-kafka-mirrormaker'

Kafka MirrorMaker 2.0 дублирует каждое сообщение
Я пытаюсь реплицировать кластер Kafka с помощью MirrorMaker 2.0. Я использую следующие свойства mm2.properties: name = mirror-site1-site2 topics = .* connector.class = org.apache.kafka.connect.mirror.MirrorSourceConnector tasks.max = 1...
1987 просмотров

Strimzi MirrorMaker2 перезапуск / сброс темы
Мы используем Strimzi MirrorMaker2 CRD для репликации данных из одного кластера Kafka в другой. Репликация теперь синхронизирована, и я заметил, что смещение темы для одной темы (с 3 разделами) неверно, у источника больше сообщений, чем у цели. Я...
108 просмотров

Темы Kafka MirrorMaker2 - фактор репликации
Я тестирую kafka mirror maker 2 у себя дома. Работает 2 смотрителя зоопарка и 2 брокера кафки. Они работают как отдельные экземпляры. Итак, 2 кластера в моем локальном с 1 брокером на каждом кластере. Брокеры работают нормально. Теперь, когда я...
789 просмотров

Запуск двух экземпляров MirrorMaker 2.0 с остановкой репликации данных для новых тем
Мы попробовали приведенный ниже сценарий с использованием mirror-maker 2.0 и хотим знать, ожидается ли выход второго сценария. Сценарий 1.) Мы запустили один экземпляр mirror-maker 2.0, используя указанные ниже свойства и команду запуска....
302 просмотров

Установка Mirror Maker 2 с использованием метода kafka connect rest api put не разрешена
Я пытаюсь выполнить настройку для производителя зеркала 2, используя текущий кластер подключения. На основе этой документации это можно сделать через connect rest api....
1227 просмотров

Как лучше всего перенести __consumer_offsets в новый кластер?
Я нахожусь на этапе миграции большого кластера в новый центр обработки данных. Я использую инструмент MirrorMaker для зеркального отображения тем. У меня есть требование перенести тему __consumer_offset в новый кластер. Какова процедура переноса...
94 просмотров

Нужна ли Mirrormaker 2 третья кафка для зеркалирования?
У меня вопрос, когда я использую mirrormaker 2. Mirrormaker 2 основан на платформе Kafka Connect и может рассматриваться по сути как комбинация коннектора источника и приемника Kafka. Итак, в архитектуре MM2 есть соединители источника и приемника....
271 просмотров

MirrorMaker 2.0: должны ли темы существовать в целевом кластере перед запуском MirrorMaker?
В моем исходном кластере есть набор тем, по которым публикуются данные. У меня есть эти названия тем, указанные в файле свойств mirrormaker. Я не создавал темы в целевом кластере. Я предполагаю, что MM 2.0 автоматически создаст эти темы в целевом...
199 просмотров

Как настраиваются потребители в Active - Настройка Active Kafka
У нас есть установка кластера Active Active Kafka с переименованием темы с помощью Mirror Maker 2.0, как указано в https://strimzi.io/blog/2020/03/30/introduction-mirrormaker2/ . Я считаю, что такая тема, как us-email, настроена следующим образом:...
401 просмотров