Я знаю, что Kafka не сможет гарантировать упорядочение данных, если тема имеет несколько разделов. Но моя проблема заключается в следующем: - Мне нужно иметь несколько разделов для темы события (действия пользователя, генерирующие события), поскольку я хочу, чтобы несколько групп потребителей потребляли данные из темы. Но бывают случаи, когда мне нужно загрузить все данные, то есть прочитать полные данные от начала до конца и перестроить свой график событий из исторических сообщений в Kafka, а затем я теряю порядок, который создает проблему. Один из подходов может заключаться в обработке его в парадигме Map-Reduce, где я сопоставляю данные по времени, упорядочиваю их и использую. Есть ли кто-нибудь, кто сталкивался с подобной ситуацией / проблемой и хотел бы помочь мне с правильным подходом / решением?
Заранее спасибо.
I need to have multiple partitions to an event topic(user activities generating events) since I want multiple consumer groups to consume the data from the topicНебольшое замечание, нет необходимости иметь несколько разделов для поддержки групп потребителей, разделы необходимы только в том случае, если вам нужно более одного потребителя на группу потребителей. У вас может быть столько групп потребителей на раздел, сколько вам нужно. - person Sönke Liebau schedule 09.03.2017CREATE_TIMEнаLOG_APPEND_TIME, но это, конечно же, изменит семантику ваших временных меток. - person Matthias J. Sax schedule 09.03.2017