Запуск двух экземпляров MirrorMaker 2.0 с остановкой репликации данных для новых тем

Мы попробовали приведенный ниже сценарий с использованием mirror-maker 2.0 и хотим знать, ожидается ли выход второго сценария.

Сценарий 1.) Мы запустили один экземпляр mirror-maker 2.0, используя указанные ниже свойства и команду запуска.

clusters=a,b
tasks.max=10
a.bootstrap.servers=kf-test-cluster-a:9092
a.config.storage.replication.factor=1
a.offset.storage.replication.factor=1
a.security.protocol=PLAINTEXT
a.status.storage.replication.factor=1
b.bootstrap.servers=kf-test-cluster-b:9092
b.config.storage.replication.factor=1
b.offset.storage.replication.factor=1
b.security.protocol=PLAINTEXT
b.status.storage.replication.factor=1
a->b.checkpoints.topic.replication.factor=1
a->b.emit.checkpoints.enabled=true
a->b.emit.hearbeats.enabled=true
a->b.enabled=true
a->b.groups=group1|group2|group3
a->b.heartbeats.topic.replication.factor=1
a->b.offset-syncs.topic.replication.factor=1
a->b.refresh.groups.interval.seconds=30
a->b.refresh.topics.interval.seconds=10
a->b.replication.factor=2
a->b.sync.topic.acls.enabled=false
a->b.topics=.*

Команда запуска: /usr/bin/connect-mirror-maker.sh connect-mirror-maker.properties &

Проверка: создан новый тематический тест в исходном кластере (a), данные получены для темы в исходном кластере и запущены потребители в целевом кластере (b), тема a.test для проверки репликации данных.

Наблюдение: сработало нормально.

Сценарий 2.) Запустите еще один экземпляр MirrorMaker 2.0, используя те же свойства, что и упомянутые выше.

Команда запуска: /usr/bin/connect-mirror-maker.sh connect-mirror-maker.properties &

Проверка. Создал еще одну тему test2 в исходном кластере, произвел данные для темы в исходном кластере и запустил клиента в целевом кластере (b), тема a.test2 для проверки репликации данных.

Наблюдение: MM2 удалось воспроизвести тему в целевом кластере, a.test2 присутствовал в целевом кластере b, но потребитель не получил никакой записи для использования.

В более новых журналах экземпляров mirror-maker 2.0 после репликации темы не была перезапущена задача mirror-sourceconnector, которая перезапускалась в единственном экземпляре после репликации темы.

ПРИМЕЧАНИЕ. Журналов ошибок не было.


person Manpreet Singh    schedule 07.11.2020    source источник


Ответы (1)


Я наблюдал такое же поведение, ваши сообщения, скорее всего, реплицируются, вы можете проверить это, проверив смещение своей группы потребителей, проблема, скорее всего, в том, что смещение вашего лага равно 0, что означает, что ваш потребитель предполагает, что все предыдущие сообщения были использованы. Вы можете сбросить смещение или читать с начала. В идеале пульс контрольной точки должен содержать последнее смещение, но в настоящее время я считаю, что оно пустое, хотя, начиная с Kafka 2.7, репликация пульса контрольной точки должна быть автоматической.

person kinihun    schedule 16.03.2021