У меня есть этот код для создания потребителя, сбалансированного в pykafka:
consumer = topic.get_balanced_consumer(consumer_group='Testing',auto_commit_enable=True,zookeeper_connect='amsmgmt002:2181,nas5:2181,amsdblx006:2181')
Как состояние потребителя управляется в процессах?
Благодарность
У вас может быть столько экземпляров BalancedConsumer, использующих тему, сколько разделов в этой теме. Если все они подключены к одному и тому же экземпляру zookeeper, они будут связываться с ним, чтобы автоматически сбалансировать разделы между собой. Стратегия назначения разделов, используемая BalancedConsumer, по умолчанию является стратегией «диапазона». Стратегия переключается с помощью ключевого аргумента member_protocol и может быть либо объектом, предоставляемым pykafka.membershipprotocol, либо настраиваемым экземпляром pykafka.membershipprotocol.GroupMembershipProtocol.
