Вопросы по теме 'flink-cep'
Шаблон тайм-аута CEP, если следующее событие не получено в заданный интервал времени
Я новичок в Flink, я пытаюсь использовать POC, в котором, если событие не получено в течение x времени, превышающего время, указанное в течение периода времени в CEP
public class MyCEPApplication {
public static void main(String[] args)...
33 просмотров
schedule
04.10.2021
Обнаружение паттернов FlinkCEP не происходит в реальном времени
Я все еще новичок в библиотеке Flink CEP, и все же я не понимаю поведения обнаружения шаблонов. Рассматривая приведенный ниже пример, у меня есть приложение Flink, которое потребляет данные из темы kafka, данные создаются периодически, я хочу...
28 просмотров
schedule
02.10.2021
FLINK - как обрабатывать логику результата sql-запроса
Мое требование - обработать или построить некоторую логику вокруг результата запроса sql во flink. Для простоты скажем, что у меня есть два sql-запроса, которые они выполняют с разным размером окна и один поток событий. У меня вопрос
а) как я...
142 просмотров
schedule
18.02.2022
Есть ли способ определить общий параллелизм заданий или количество слотов, необходимых для запуска задания Flink (перед его запуском)
Есть ли способ определить общее количество слотов задач, которые потребуются для выполнения задания либо из плана выполнения, либо каким-либо другим способом без необходимости сначала запускать задание.
Согласно этому документу:...
418 просмотров
schedule
21.04.2022
Почему результат ослабленной смежности не включает результат строгой смежности?
Из официального документа для Flink CEP мы видим, что результат Relaxed Contiguity не включает результат Strict Contiguity "{a2 b}", однако он содержит результат "{a1 b}" , в моем понимании результат Relaxed Contiguity должен содержать результат...
62 просмотров
schedule
24.06.2022
Использование ROW_NUMBER с Flink SQL
Я пытаюсь запустить следующий оператор SQL на Flink версии 1.10
select startAreaID, endAreaID
from (
select startAreaID, endAreaID,
ROW_NUMBER() OVER (ORDER BY cnt DESC ) as row_num
from (
select startAreaID, endAreaID, count(1) as cnt
from
(...
311 просмотров
schedule
25.07.2022
На каком документе основана реализация FlinkCep?
Мне нужно знать, есть ли документы по внедрению FlinkCEP. Если есть, то какие?
29 просмотров
schedule
07.09.2022
Flink Streaming AWS S3 читает несколько файлов параллельно
Я новичок в Flink, я понимаю, что после вызова API
StreamExecutionEnvironment.getExecutionEnvironment().readFile(format, path)
будет читать файлы параллельно для заданного пути к ведру S3.
Мы храним файлы журналов в S3. Требование состоит...
1430 просмотров
schedule
20.09.2022
Как проверить, что DataStream во флинке пуст или имеет данные
Я новичок в Apache flink, у меня есть поток данных, который реализует функцию процесса, если определенные условия выполняются, тогда поток данных действителен, и если он не соответствует условиям, я пишу его на боковой выход. Я могу распечатать поток...
496 просмотров
schedule
02.10.2022
Как обрабатывать DataStream с разными типами данных вместе
скажем, у меня есть функция, которая обрабатывает DataStream<X> и отправляет возврат в БД, но мне нужно читать из другого источника, и при обработке этого нового потока данных мне нужно будет найти состояния, которые я мог бы сгенерировать,...
149 просмотров
schedule
01.10.2022
Хо, могу ли я провести ленивый матч с Flink CEP
Я хочу использовать FlinkCEP только для «ленивого» поиска по шаблону. Как я могу это сделать? например У меня есть входной поток ACABCABCB, и я хочу сопоставить A с FollowBy C, чтобы получить только 3 совпадения, а не 6 совпадений.
Я создал...
251 просмотров
schedule
06.02.2023
Flink и динамическое распознавание шаблонов
Мы планируем использовать Flink CEP для обработки большого количества событий по некоторым динамическим шаблонам. Система должна распознавать цепочки событий (иногда сложные цепочки с условиями и группировкой). Шаблоны будут созданы пользователем....
973 просмотров
schedule
26.10.2022
Flink CEP: Как проверить, не появилось ли следующее событие в заданном временном окне?
Я пытаюсь выяснить, как реализовать следующую логику с потоком событий:
Первое событие появляется в заданном временном окне (30 с)
Второе событие, связанное с первым (по какому-то свойству) не появилось в заданном временном окне
Создать...
194 просмотров
schedule
17.03.2023
Можно ли обрабатывать несколько потоков в apache flink CEP?
Мой вопрос заключается в том, что если у нас есть два необработанных потока событий, т.е. Дым и Температура , и мы хотим выяснить, произошло ли сложное событие, т.е. Пожар применяя операторы к необработанным потокам, можем ли мы сделать это во...
1312 просмотров
schedule
24.12.2022
добавление Кассандры в качестве приемника в ошибке Flink: все хосты, которые пытались выполнить запрос, не удались
Я следил за примером на https://ci.apache.org/projects/flink/flink-docs-release-1.4/dev/connectors/cassandra.html , чтобы подключить Кассандру в качестве приемника во Flink.
Мой код для показан ниже
public class writeToCassandra {
private...
627 просмотров
schedule
28.04.2023
Как сгенерировать более 1000 событий в секунду в java, используя время сна
У меня есть генератор событий для Flink CEP, код которого приведен ниже. По сути, я использую Thread.sleep() и где-то читал, что java не может спать меньше 1 миллисекунды, даже если мы используем System.nanoTime() . Код для генератора
public...
286 просмотров
schedule
03.09.2023
Apache Flink: как поместить события в разные темы Kafka в зависимости от типа события?
Мне было интересно, можно ли использовать приемник Flink Kafka для записи событий в разные темы в зависимости от типа событий? Допустим, у нас есть разные типы событий: уведомления, сообщения и запросы в друзья. Мы хотим транслировать эти события в...
958 просмотров
schedule
30.11.2022
Apache Flink CEP, как пройти во временном окне на основе значения события?
Pattern<Event, ?> pattern = Pattern.<Event>begin("start")
.next("middle").where(new SimpleCondition<Event>() {
@Override
public boolean filter(Event value) throws Exception {
return...
427 просмотров
schedule
05.06.2023
Apache Flink 1.4.2 com.esotericsoftware.kryo.KryoException: java.lang.UnsupportedOperationException
Используя Apache Flink 1.4.2, я получаю следующее исключение
com.esotericsoftware.kryo.KryoException: java.lang.UnsupportedOperationException
Serialization trace:
data (org.apache.flink.api.java.utils.ParameterTool)
parameterTool...
932 просмотров
schedule
15.11.2022
как я могу получить время отправки работы и использовать его в приложении Flink?
В настоящее время я разрабатываю приложение для потоковой обработки, одна из функций которого - принимать события, которые происходят в часовом поясе [время отправки задания, время отправки задания + T].
как получить доступ к этой конкретной...
50 просмотров
schedule
03.03.2023
