Размер партии в Storm Trident

Я хотел бы знать, как установить РАЗМЕР ПАКЕТА (например, я хочу, чтобы в пакете было 10000 записей) в TRIDENT. У меня есть приведенная ниже конфигурация в моем коде, и она извлекает примерно 250 записей за партию из Kafka. Могу ли я увеличить это до 10000*1024? или есть ли способ установить количество записей на партию.

TridentKafkaConfig tridentKafkaConfig = new TridentKafkaConfig(hosts, topic, consumerGroupId);
tridentKafkaConfig.scheme = new SchemeAsMultiScheme(new XScheme()); 
tridentKafkaConfig.fetchSizeBytes = 1024*1024;

person user3072054    schedule 24.12.2014    source источник


Ответы (1)


Вы можете увеличить размер пакета, изменив свойство "tridentKafkaConfig.fetchSizeBytes". Кроме того, размер пакета связан с количеством брокеров и количеством разделов. Например, если у вас есть 2 брокера и 3 раздела для каждого брокера, это означает, что общее количество разделов равно 6. Таким образом, размер пакета равен tridentKafkaConfig.fetchSizeBytes X общего количества разделов. если предположить, что размер tridentKafkaConfig.fetchSizeBytes равен 1024X1024, размер пакета равен 6 МБ (3x2x1024x1024) байт.

person serkan kucukbay    schedule 21.08.2015