Потребитель Kafka - Java (0.9 API)

Я искал создание потребителя Kafka с использованием версии 0.9 API. Объясните, пожалуйста, что такое ребалансировка потребителей? В чем разница между упомянутым здесь потребителем и координатором? Также, пожалуйста, не могли бы вы объяснить проблему расщепления мозга потребителя?

Ниже приведен черновой вариант проекта, в котором используется высокодоступный координатор потребителей на стороне брокера для выполнения ребалансировки потребителей. Путем переноса логики ребалансировки с потребителя на координатора мы можем решить проблему разделения мозга потребителя и помочь сделать его более тонким.


java apache-kafka spring kafka-consumer-api
person Praveen    schedule 23.02.2016    source источник

Ответы (1)


arrow_upward
2
arrow_downward

Перебалансировка потребителей означает, что группы потребителей перебалансируют разделение между потребителями этих групп потребителей, это происходит, когда новый потребитель входит в группу или покидает ее.

У каждой группы потребителей есть координатор, который в основном координирует работу группы.

Если вы хотите узнать больше о новом потребителе, вы можете прочитать this.

А разделение мозга - обычная проблема с распределенными системами, которая возникает, когда есть раздел в сети, и разные части системы не могут связываться друг с другом и не осознают этого. Вы можете найти его здесь

person Nautilus    schedule 23.02.2016
comment
Привет, Наутилус, можно ли выполнить повторную балансировку потребителя при использовании версии kafka api 0.8.2 или она доступна только в 0.9 - person Punter Vicky; 23.02.2016
comment
Встроен ли коориднатор в kafka и знает ли он IP-адреса всех приложений-потребителей? - person Punter Vicky; 23.02.2016
comment
Извините, я не очень хорошо знаком со старым потребителем. Вы можете задать вопрос по электронной почте: [email protected] - person Nautilus; 23.02.2016