Как лучше всего перенести __consumer_offsets в новый кластер?

Я нахожусь на этапе миграции большого кластера в новый центр обработки данных. Я использую инструмент MirrorMaker для зеркального отображения тем. У меня есть требование перенести тему __consumer_offset в новый кластер. Какова процедура переноса этой темы ?.

Мои потребительские свойства

bootstrap.servers=<server_dns>:9092
exclude.internal.topics=false
client.id=mirror_maker_consumer_all
group.id=mirror_maker_consumer_all

производитель.properties

bootstrap.servers=<bootstrap_servers>:9092
acks = 1
batch.size = 10000
timeout.ms = 3000
client.id=mirror_maker_consumer_offsets

Я использую средство создания зеркал с num.streams = 10 и whitelist = '. *'


apache-kafka cloudera apache-kafka-mirrormaker
person SharathKumar    schedule 09.06.2020    source источник

Ответы (1)


arrow_upward
1
arrow_downward

С MirrorMaker вы не сможете отразить эту тему. Смещения между кластерами часто различаются, поэтому данные в этой теме не имеют смысла в новом кластере.

MirrorMaker2 решает эту проблему и может реплицировать смещения между кластерами. MirrorMaker2 теперь является рекомендуемым инструментом и заменяет старый MirrorMaker.

См. MirrorMaker2 README для получения подробной информации о его функциях и способах его запуска: https://github.com/apache/kafka/tree/trunk/connect/mirror

person Mickael Maison    schedule 09.06.2020
comment
Спасибо, @Mickael Maison. Дай мне это проверить. - person SharathKumar; 11.06.2020