Вопросы по теме 'trident'

Группировка по нескольким полям Storm
Я полагаю, что нужно сгруппировать поток по двум полям ( "remote-client-ip", "request-params" ) и подсчитать количество кортежей в каждой группе. И объедините их в карту. Вот моя топология: topology.newStream("kafka-spout-stream-1",...
536 просмотров
schedule 09.09.2021

Пользовательский интерфейс Storm с разным количеством исполнителей и задач
Я использую шторм с топологией трезубца, но я не могу понять, как достигается параллелизм, он отличается в зависимости от моих расчетов и того, что я вижу в пользовательском интерфейсе шторма, Вот код назначения количества рабочих: public...
277 просмотров
schedule 30.11.2021

Найдите слово, имеющее максимальное количество, используя топологию Trident
Как я могу найти слово, которое имеет максимальное количество слов в топологии подсчета слов, используя топологию Trident? Вот ссылка на топологию подсчета слов Trident....
32 просмотров

Вставка строк в кассандру с помощью Storm Trident
Я пытаюсь вставить простую строку в таблицу в Cassandra 2.0.5, Storm версии 0.9.0.1. Мой тест выглядит следующим образом: У меня есть таблица, состоящая из столбца id (int) и предложения (text). id - это первичный ключ. Мой носик генерирует...
652 просмотров
schedule 18.06.2022

BaseStatefulBolt (Storm Core) против StateFactory (Storm Trident)
Я запутался в использовании storm. Я собираюсь измерить состояние источника данных, используя его потоковые данные. Статус будет рассчитываться при объединении некоторых полей, и эти поля могут быть достигнуты с разным интервалом времени. Вот...
88 просмотров
schedule 23.07.2022

Размер партии в Storm Trident
Я хотел бы знать, как установить РАЗМЕР ПАКЕТА (например, я хочу, чтобы в пакете было 10000 записей) в TRIDENT. У меня есть приведенная ниже конфигурация в моем коде, и она извлекает примерно 250 записей за партию из Kafka. Могу ли я увеличить это...
1071 просмотров
schedule 01.09.2022

Топология Trident или Storm, которая пишет на Redis
У меня проблема с топологией. Я пытаюсь объяснить рабочий процесс ... У меня есть источник, который выдает ~ 500 тыс. кортежей каждые 2 минуты, эти кортежи должны быть прочитаны носиком и обработаны точно один раз, как один объект (я думаю, что пакет...
4062 просмотров
schedule 24.08.2023

Как закрыть соединение с базой данных, открытое реализацией IBackingMap в топологии Storm Trident?
Я реализую IBackingMap для своей топологии Trident для хранения кортежей в ElasticSearch (я знаю, что в GitHub уже существует несколько реализаций интеграции Trident / ElasticSearch, однако я решил реализовать собственный вариант, который лучше...
348 просмотров
schedule 16.02.2023

Как сбалансировать топологию Storm Trident
Из этой ссылки на документацию я мог узнать что повторно сбалансировать топологию легко с помощью приведенной ниже команды storm rebalance mytopology -n 5 -e blue-spout=3 -e yellow-bolt=10 Но как мне повторно сбалансировать топологию...
289 просмотров
schedule 12.10.2023

Как построить топологию Storm Trident, которая будет сохранять кортежи в HBase
Я хочу построить топологию трезубца, которая будет получать кортежи из Kafka, группировать их по одному полю и сохранять целые сгруппированные кортежи в HBase. Причина группировки заключается в том, что операции размещения HBase выполняются быстрее с...
336 просмотров
schedule 23.10.2022