Публикации по теме 'stream-processing'
Джоуль Версия 1.0.4
Joule — это платформа Low Code для разработки вариантов использования. Платформа упрощает разработку вариантов использования, предоставляя выразительный язык для определения конвейеров обработки с использованием готовых и настраиваемых процессоров и соединителей данных.
Готовые решения Joule предоставляют стандартные реализации коннекторов данных и полезные процессоры, которые позволяют быстро приступить к созданию и запуску вариантов использования.
Этот ранний выпуск содержит ряд новых..
Использование потоковой обработки для уведомления клиентов о достижении кредитной картой лимита кредита
Анализируйте транзакции по кредитной карте в режиме реального времени, чтобы определить, достигает ли клиент кредитного лимита карты.
Мы, как потребители, ежедневно пользуемся кредитными картами. Но, к сожалению, иногда наше покупательское поведение приводит к тому, что кредитная карта исчерпывается, а мы не узнаем об этом. Так что было бы неплохо, если бы компания, выпускающая мою кредитную карту, давала мне дружеское предупреждение, когда мои общие расходы достигают определенных..
Вопросы по теме 'stream-processing'
Группировка по нескольким полям Storm
Я полагаю, что нужно сгруппировать поток по двум полям ( "remote-client-ip", "request-params" ) и подсчитать количество кортежей в каждой группе. И объедините их в карту. Вот моя топология:
topology.newStream("kafka-spout-stream-1",...
536 просмотров
schedule
09.09.2021
Как передать параметры функции прогнозирования тензорного потока в сиддхи?
Какие параметры передаются функции прогнозирования? Есть ли какая-либо документация по использованию плагина siddhi tensorflow?
Хотя в качестве части образца есть модель pbtxt, она сама по себе очень расплывчата и не содержит сведений о том, что...
177 просмотров
schedule
30.10.2021
Как обновить версию siddhi jars в рабочем контейнере w.r.t wso2sp?
Я пытаюсь заменить банки внутри рабочего контейнера wso2 4.4.0 на последнюю версию, а не на версию по умолчанию
Я пытался:
замените банку внутри контейнера
измените банку перед созданием базового образа, а также измените пакет в файле...
45 просмотров
schedule
14.10.2021
Как собрать поздние данные в оконной обработке потока Flink
Представьте, что у меня есть поток данных, содержащий данные о времени события. Я хочу собрать поток входных данных за время окна 8 миллисекунд и уменьшить данные каждого окна. Я делаю это с помощью следующего кода:
aggregatedTuple...
1305 просмотров
schedule
23.02.2022
Внешний вызов api apache flink
Можно ли вызвать внешний api (RESTful) внутри кода флинка apache. Если возможно, то как мы можем это сделать.
Я вызываю api из простого java-кода, он работает нормально, но когда я использую тот же код в apache flink, он выдает исключение:...
2520 просмотров
schedule
04.04.2022
Как сгруппировать записи из одного раздела, используя окно для времени T для одной записи, каждая запись имеет один и тот же ключ
Допустим, у меня есть поток событий.
R1 - {"abc": "значение 1"}
R2 - {"abc": "значение 2"}
R3 - {"abc": "значение 3"}
R4 - {"abc": "значение 4"}
в одном разделе. Я хочу, чтобы производный поток событий из указанного выше потока имел...
38 просмотров
schedule
02.05.2022
Запрос Flink sql в DataStream (Apache Flink Java)
Я совершенно не знаком с Apache flink. Просто пытаюсь запачкать руки. У меня такой сценарий.
Datastream для событий
Datastream для событий
Datastream для правил
Объединили эти два потока данных на основе идентификатора правила
Теперь...
406 просмотров
schedule
29.07.2022
Как истечь ключевое состояние с TTL в Apache Flink?
У меня такой конвейер:
env.addSource(kafkaConsumer)
.keyBy { value -> value.f0 }
.window(EventTimeSessionWindows.withGap(Time.minutes(2)))
.reduce(::reduceRecord)
.addSink(kafkaProducer)
Я...
49 просмотров
schedule
03.09.2022
Состояние мигания начальной загрузки
Я работаю над простой агрегацией, которая суммирует итоги событий, происходящих на данном ресурсе (см .: Рассчитывать итоги и периодически выдавать в flink ). С некоторой помощью я заставил это работать, но теперь я столкнулся с другой проблемой....
353 просмотров
schedule
02.10.2022
Какие гарантии предоставляет Kafka Stream при использовании хранилища состояний RocksDb с журналом изменений?
Я создаю приложение Kafka Streams, которое генерирует события изменения, сравнивая каждый новый вычисленный объект с последним известным объектом.
Поэтому для каждого сообщения в теме ввода я обновляю объект в хранилище состояний и время от времени...
611 просмотров
schedule
23.07.2023
Как проверить, была ли отправлена новая запись в заданный период времени с помощью kafka и faust
Я использую тестовую установку, включающую конфлюентную платформу (докер), и обрабатываю записи со следующей информацией: идентификатор датчика, отметка времени, значение. Используя faust robinhood (похожий на Kafka Streams, но в python), я пытаюсь...
331 просмотров
schedule
19.03.2023
Как обновить поток ответом из другого потока, где тип приемника - http-ответ
Я пытаюсь обогатить свой входной поток дополнительным атрибутом, который заполняется через приемник ответа "http-response".
Я пробовал использовать "join" с атрибутом window и с ключевым словом "every", чтобы объединить два потока и вставить...
107 просмотров
schedule
13.03.2023
Как присоединиться к нескольким темам Kafka в сборщике данных StreamSets?
У меня есть вариант использования, когда мне нужно «присоединиться» к нескольким темам Kafka на основе некоторых критериев в сборщике данных StreamSets. Интересно, есть ли какая-нибудь общепринятая идиома, которая могла бы решить такую проблему?
185 просмотров
schedule
07.05.2023
Сброс на настраиваемое смещение в разделе Kafka
Я изучаю Kafka для конкретного случая использования, над которым работаю. У меня есть поток текущих данных, и я хочу его обработать и опубликовать на промежуточных этапах.
На каждом из этих этапов (начальный и промежуточный) задачи Samza будут...
364 просмотров
schedule
03.03.2023
Экземпляр ArrowCircuit для потоковых процессоров, которые могут блокировать
Класс Control.Arrow.Operations.ArrowCircuit это для:
Тип стрелки, который можно использовать для интерпретации синхронных схем.
Я хочу знать, что здесь означает синхронный . Я нашел это в Википедии , где говорится о цифровой...
227 просмотров
schedule
19.02.2023
Разница между Shutdown-app и kill-app в командах Apache Apex CLI
может кто-нибудь помочь мне понять, в чем разница между приложением Shutdown и kill-app в командах Apache APEX CLI?
129 просмотров
schedule
24.01.2024
Kafka Stream в Spark Stream python
У нас есть поток Kafka, который использует Avro. Мне нужно подключить его к Spark Stream. Я использую приведенный ниже код, как предлагает Лев Дж. .
kvs = KafkaUtils.createDirectStream(ssc, [topic], {"metadata.broker.list": brokers},...
233 просмотров
schedule
23.03.2024