Публикации по теме 'stream-processing'


Джоуль Версия 1.0.4
Joule — это платформа Low Code для разработки вариантов использования. Платформа упрощает разработку вариантов использования, предоставляя выразительный язык для определения конвейеров обработки с использованием готовых и настраиваемых процессоров и соединителей данных. Готовые решения Joule предоставляют стандартные реализации коннекторов данных и полезные процессоры, которые позволяют быстро приступить к созданию и запуску вариантов использования. Этот ранний выпуск содержит ряд новых..

Использование потоковой обработки для уведомления клиентов о достижении кредитной картой лимита кредита
Анализируйте транзакции по кредитной карте в режиме реального времени, чтобы определить, достигает ли клиент кредитного лимита карты. Мы, как потребители, ежедневно пользуемся кредитными картами. Но, к сожалению, иногда наше покупательское поведение приводит к тому, что кредитная карта исчерпывается, а мы не узнаем об этом. Так что было бы неплохо, если бы компания, выпускающая мою кредитную карту, давала мне дружеское предупреждение, когда мои общие расходы достигают определенных..

Вопросы по теме 'stream-processing'

Группировка по нескольким полям Storm
Я полагаю, что нужно сгруппировать поток по двум полям ( "remote-client-ip", "request-params" ) и подсчитать количество кортежей в каждой группе. И объедините их в карту. Вот моя топология: topology.newStream("kafka-spout-stream-1",...
536 просмотров
schedule 09.09.2021

Как передать параметры функции прогнозирования тензорного потока в сиддхи?
Какие параметры передаются функции прогнозирования? Есть ли какая-либо документация по использованию плагина siddhi tensorflow? Хотя в качестве части образца есть модель pbtxt, она сама по себе очень расплывчата и не содержит сведений о том, что...
177 просмотров

Как обновить версию siddhi jars в рабочем контейнере w.r.t wso2sp?
Я пытаюсь заменить банки внутри рабочего контейнера wso2 4.4.0 на последнюю версию, а не на версию по умолчанию Я пытался: замените банку внутри контейнера измените банку перед созданием базового образа, а также измените пакет в файле...
45 просмотров
schedule 14.10.2021

Как собрать поздние данные в оконной обработке потока Flink
Представьте, что у меня есть поток данных, содержащий данные о времени события. Я хочу собрать поток входных данных за время окна 8 миллисекунд и уменьшить данные каждого окна. Я делаю это с помощью следующего кода: aggregatedTuple...
1305 просмотров

Внешний вызов api apache flink
Можно ли вызвать внешний api (RESTful) внутри кода флинка apache. Если возможно, то как мы можем это сделать. Я вызываю api из простого java-кода, он работает нормально, но когда я использую тот же код в apache flink, он выдает исключение:...
2520 просмотров
schedule 04.04.2022

Как сгруппировать записи из одного раздела, используя окно для времени T для одной записи, каждая запись имеет один и тот же ключ
Допустим, у меня есть поток событий. R1 - {"abc": "значение 1"} R2 - {"abc": "значение 2"} R3 - {"abc": "значение 3"} R4 - {"abc": "значение 4"} в одном разделе. Я хочу, чтобы производный поток событий из указанного выше потока имел...
38 просмотров

Запрос Flink sql в DataStream (Apache Flink Java)
Я совершенно не знаком с Apache flink. Просто пытаюсь запачкать руки. У меня такой сценарий. Datastream для событий Datastream для событий Datastream для правил Объединили эти два потока данных на основе идентификатора правила Теперь...
406 просмотров

Как истечь ключевое состояние с TTL в Apache Flink?
У меня такой конвейер: env.addSource(kafkaConsumer) .keyBy { value -> value.f0 } .window(EventTimeSessionWindows.withGap(Time.minutes(2))) .reduce(::reduceRecord) .addSink(kafkaProducer) Я...
49 просмотров

Состояние мигания начальной загрузки
Я работаю над простой агрегацией, которая суммирует итоги событий, происходящих на данном ресурсе (см .: Рассчитывать итоги и периодически выдавать в flink ). С некоторой помощью я заставил это работать, но теперь я столкнулся с другой проблемой....
353 просмотров

Какие гарантии предоставляет Kafka Stream при использовании хранилища состояний RocksDb с журналом изменений?
Я создаю приложение Kafka Streams, которое генерирует события изменения, сравнивая каждый новый вычисленный объект с последним известным объектом. Поэтому для каждого сообщения в теме ввода я обновляю объект в хранилище состояний и время от времени...
611 просмотров

Как проверить, была ли отправлена ​​новая запись в заданный период времени с помощью kafka и faust
Я использую тестовую установку, включающую конфлюентную платформу (докер), и обрабатываю записи со следующей информацией: идентификатор датчика, отметка времени, значение. Используя faust robinhood (похожий на Kafka Streams, но в python), я пытаюсь...
331 просмотров

Как обновить поток ответом из другого потока, где тип приемника - http-ответ
Я пытаюсь обогатить свой входной поток дополнительным атрибутом, который заполняется через приемник ответа "http-response". Я пробовал использовать "join" с атрибутом window и с ключевым словом "every", чтобы объединить два потока и вставить...
107 просмотров

Как присоединиться к нескольким темам Kafka в сборщике данных StreamSets?
У меня есть вариант использования, когда мне нужно «присоединиться» к нескольким темам Kafka на основе некоторых критериев в сборщике данных StreamSets. Интересно, есть ли какая-нибудь общепринятая идиома, которая могла бы решить такую ​​проблему?
185 просмотров

Сброс на настраиваемое смещение в разделе Kafka
Я изучаю Kafka для конкретного случая использования, над которым работаю. У меня есть поток текущих данных, и я хочу его обработать и опубликовать на промежуточных этапах. На каждом из этих этапов (начальный и промежуточный) задачи Samza будут...
364 просмотров

Экземпляр ArrowCircuit для потоковых процессоров, которые могут блокировать
Класс Control.Arrow.Operations.ArrowCircuit это для: Тип стрелки, который можно использовать для интерпретации синхронных схем. Я хочу знать, что здесь означает синхронный . Я нашел это в Википедии , где говорится о цифровой...
227 просмотров

Разница между Shutdown-app и kill-app в командах Apache Apex CLI
может кто-нибудь помочь мне понять, в чем разница между приложением Shutdown и kill-app в командах Apache APEX CLI?
129 просмотров

Kafka Stream в Spark Stream python
У нас есть поток Kafka, который использует Avro. Мне нужно подключить его к Spark Stream. Я использую приведенный ниже код, как предлагает Лев Дж. . kvs = KafkaUtils.createDirectStream(ssc, [topic], {"metadata.broker.list": brokers},...
233 просмотров