Как настраиваются потребители в Active - Настройка Active Kafka

У нас есть установка кластера Active Active Kafka с переименованием темы с помощью Mirror Maker 2.0, как указано в https://strimzi.io/blog/2020/03/30/introduction-mirrormaker2/. Я считаю, что такая тема, как us-email, настроена следующим образом:

dc1

  1. нам-электронная почта
  2. us-email-dc2 (зеркало dc2)

dc2

  1. нам-электронная почта
  2. us-email-dc1 (зеркало dc1)

Производители могут публиковать данные на своих локальных контроллерах домена, и оба кластера будут содержать данные обоих контроллеров домена. Все идет нормально.

Пользовательское приложение подписалось бы на тему с подстановочными знаками (us-email- *), чтобы читать данные обоих DC. Если это так, могу ли я настроить потребителя для чтения с их соответствующих контроллеров домена? В этом случае будет прочитано повторяющееся сообщение для сообщения об охвате из-за зеркалирования. ИЛИ рекомендуется указывать одну группу потребителей только на один DC, чтобы предотвратить дублирование? Если да, то как произойдет переключение в случае отказа одного контроллера домена?


apache-kafka disaster-recovery apache-kafka-mirrormaker
person Madhur Ahuja    schedule 31.07.2020    source источник
comment
Вы можете потреблять от любого постоянного тока, но вы должны потреблять только от одного. В случае аварийного переключения вы можете использовать ту же группу потребителей, чтобы начать потребление от другого постоянного тока. Перед употреблением обязательно сопоставьте смещение в другом постоянном токе с помощью RemoteClusterUtils.   -  person s7vr    schedule 06.08.2020

Ответы (2)


arrow_upward
2
arrow_downward

Должны ли потребители в обоих центрах обработки данных указывать на один ЦОД?

Потребители не могут читать более чем из одного списка серверов начальной загрузки, так что да

есть ручное переключение на отказ?

Непонятно, что вы имеете в виду под руководством.

  1. В случае сбоя зеркального или целевого брокера потребитель перестает что-либо читать.
  2. Если источник не работает, зеркальное отображение прекращается, возвращаясь к (1)

потребители в обоих DC также получат реплицированные сообщения

Зеркальное отображение не гарантирует единовременную доставку

person OneCricketeer    schedule 01.08.2020
comment
Должны ли потребители в обоих центрах обработки данных указывать на один DC - мой вопрос здесь заключался в том, что в активной активной конфигурации потребители будут указывать на свой соответствующий DC или один DC? Если я укажу на соответствующий DC, мое приложение-клиент всегда будет получать 2 копии одного и того же сообщения, потому что это сообщение зеркалируется с другим DC и наоборот. Это ожидается? - person Madhur Ahuja; 01.08.2020
comment
Они могут указывать на любой из них, но в идеале вам нужен тот, который имеет меньшую задержку / меньше сетевых переходов. Невозможно прочитать исходную тему на конечном контроллере домена, потому что он не существует, так как он будет переименован в адрес назначения. - person OneCricketeer; 02.08.2020

arrow_upward
0
arrow_downward

Автоматическое переключение при отказе невозможно. Всякий раз, когда один DC выходит из строя, вы должны обновить потребителя, чтобы он читал с другого DC вручную. Также насчет потребительских смещений: я не уверен, синхронизируются ли они и позволяют ли вам продолжать или рассматривать потребителя как новую группу потребителей.

person Suman    schedule 12.08.2020