Нужна ли Mirrormaker 2 третья кафка для зеркалирования?

У меня вопрос, когда я использую mirrormaker 2.

Mirrormaker 2 основан на платформе Kafka Connect и может рассматриваться по сути как комбинация коннектора источника и приемника Kafka. Итак, в архитектуре MM2 есть соединители источника и приемника. Но есть ли лишний кластер Kafka для коннекторов в MM2? Потому что в kafka connect design; Коннектор источника и приемника требует кластера Kafka для перемещения данных.

Например, MM2 нужны исходный и целевой кластеры; Мой вопрос в том, что нужна ли MM2 третья кафка для операции зеркалирования без использования исходных и целевых кластеров?

Другой вопрос заключается в том, что могут ли соединители MM2 работать в режиме распространения? Я не видел конфигурации по этому вопросу?

Например, в докере; Достаточно ли приведенной ниже конфигурации для работы MM2 в распределенном режиме?

mirrormaker:
    image: 'wpietri/mirror-maker:2'
    environment:
      - SOURCE=source_ip:9092
      - DESTINATION=dest_ip:9092
      - TOPICS=test-topic
    deploy:
      replicas: 3
      mode: replicated

apache-kafka apache-kafka-connect apache-kafka-mirrormaker
person Nitterun A.    schedule 15.10.2020    source источник

Ответы (1)


arrow_upward
2
arrow_downward

В настоящее время MirrorMaker 2 представляет собой набор коннекторов Source.

Исходный соединитель захватывает записи из внешней системы и передает их среде выполнения Kafka Connect, которая записывает их в Kafka.

Для MirrorMaker 2 внешняя система - это еще один кластер Kafka. Так что работать, MirrorMaker 2 нужно всего 2 кластера Kafka. Один, где соединители получают записи (называемый исходным кластером), и другой, к которому подключен Kafka Connect (называемый целевым кластером).

Разъемы MirrorMaker 2 и стандартные разъемы Kafka Connect. Их можно использовать напрямую с Kafka Connect в автономном или распределенном режиме.

person Mickael Maison    schedule 15.10.2020
comment
Микаэль, спасибо за ответ, я новичок в Kafka и MM2. На странице документации Kafka о MM2 в распределенном режиме; Вы можете запустить множество таких процессов зеркалирования для увеличения пропускной способности и отказоустойчивости. Согласно этому предложению; например в докере; реплицируемых контейнеров хватит для отказоустойчивости? - person Nitterun A.; 15.10.2020
comment
Kafka Connect можно масштабировать в распределенном режиме путем добавления экземпляров. Вы можете запускать их в контейнерах, если хотите - person Mickael Maison; 15.10.2020