Вопросы по теме 'flink-streaming'
Как правильно реализовать приемник HTTP?
Я хочу отправить результаты расчета моего потока DataStream в другую службу по протоколу HTTP. Я вижу два возможных способа его реализации:
Использовать синхронный клиент Apache HttpClient в приемнике
public class SyncHttpSink extends...
4126 просмотров
schedule
09.09.2021
Apache Flink: обогащение потока данными из внешнего / блокирующего вызова
В своем приложении я хочу обогатить бесконечный поток событий. Сам поток распараллеливается хешированием идентификатора. Для каждого события может быть вызов внешнего источника (например, REST, DB). Этот вызов является блокирующим по своей природе....
2067 просмотров
schedule
10.10.2021
Эквивалент RDD для каждой искры во Flink
в Apache Spark мы много раз используем RDD forEach для оценки или обработки всех данных в RDD ... Я хочу знать, что эквивалентно тому же в Apache Flink ??
575 просмотров
schedule
16.09.2021
FlinkKafkaConsumer09 снова и снова читает некоторые сообщения
Я написал простую программу для чтения данных из Kafka и печати во flink. Ниже приведен код.
public static void main(String[] args) throws Exception {
Options flinkPipelineOptions = PipelineOptionsFactory.create().as(Options.class);...
376 просмотров
schedule
08.09.2021
Как упомянуть FileInputFormat в методе флинка readFile?
Я использую flink для непрерывного чтения данных из файла, который регулярно добавляется с данными. Я пробовал использовать метод readFile во flink, но запутался, как упомянуть FileInputFormat в аргументе этого метода. Мой формат файла - json....
751 просмотров
schedule
24.10.2021
Как настроить задания flink во время выполнения?
Можно ли настроить флинк-приложение во время выполнения? Например, у меня есть потоковое приложение, которое считывает ввод, выполняет некоторые преобразования, а затем отфильтровывает все элементы ниже определенного порога. Однако я хочу, чтобы...
921 просмотров
schedule
19.09.2021
Apache Flink: триггер не срабатывает при использовании BoundedOutOfOrdernessTimestampExtractor
При использовании BoundedOutOfOrdernessTimestampExtractor триггер не срабатывает. Однако триггер срабатывает при использовании настраиваемого средства извлечения меток времени с аналогичным водяным знаком.
Пример кода ниже: 1.Assigner as anonymous...
726 просмотров
schedule
25.11.2021
Задание Flink / поток данных при сбое и восстановлении нескольких диспетчеров задач
Если у нас есть 2 диспетчера задач, каждый из которых работает в разных JVM (как всегда), и предположим, что у нас есть оператор в середине потока данных, который завершился неудачно из-за исключения или JVM, прерванного из-за сбоя, можем ли мы...
260 просмотров
schedule
15.10.2021
Флинк на EMR - нет вывода ни в консоль, ни в файл
Я пытаюсь развернуть свою работу flink на AWS EMR (версия 5.15 с Flink 1.4.2). Однако я не смог получить никаких выходных данных из своего потока. Я попытался создать простую работу:
object StreamingJob1 {
def main(args: Array[String]) {...
513 просмотров
schedule
07.11.2021
Apache Flink: как часто происходит де / сериализация состояния?
Как часто выполняется состояние оператора де / сериализации Flink? За получение / обновление или на основе контрольных точек? Имеет ли значение государственный бэкэнд?
Я подозреваю, что в случае ключевого потока с разнообразным ключом (миллионы)...
579 просмотров
schedule
08.11.2021
Flink: добавить событие в конец конечного потока данных
Предполагая, что существует конечный поток данных (например, из источника базы данных) с событиями
a1, a2, ..., an .
Как добавить еще одно событие b в этот поток, чтобы получить
a1, a2, ..., an, b
(т.е. выводить добавленное...
334 просмотров
schedule
05.10.2021
Невозможно отправить аргументы со значениями в одинарных кавычках для выполнения задания мигания
Я пытаюсь отправить свою банку с аргументами. Я использую flink Rest Api для отправки своих аргументов в формате json. Мой образец ввода в java
JSONObject json = new JSONObject();
json.put("programArgs","--bootstrap.server...
762 просмотров
schedule
06.10.2021
Создание динамического окна flink путем чтения деталей из kafka
Скажем, сообщения Kafka содержат конфигурацию размера окна flink.
Я хочу прочитать сообщение от Kafka и создать глобальное окно во flink.
Постановка проблемы:
Можем ли мы справиться с описанным выше сценарием с помощью BroadcastStream?
Or...
589 просмотров
schedule
24.11.2021
Совместное использование состояния подзадач оператора с использованием побочных выходов
Я реализую потоковое приложение, и один из операторов с отслеживанием состояния пытается зафиксировать отношение «владелец имеет элементы». Состояние с ключом для каждого владельца состоит из сведений о владельце и каждом из элементов. Право...
47 просмотров
schedule
24.10.2021
Как запустить нисходящий метод onEventTime () при использовании шаблона BroadcastState?
Я использую конвейер следующим образом:
inputStream.keyBy(<keyMapper>).
connect(configurationBroadcastStream).
process(new KeyedBroadcastProcessFunction<...>() {
processBroadcastElement(...){...}
processElement(...){...}...
165 просмотров
schedule
27.11.2021
Нет результатов после нажатия клавиши By, window и window
Я пытаюсь выполнить несколько операций Flink со своим потоком данных. Но я не получаю никакого результата. Кто-нибудь знает, почему бы и нет. Спасибо за вашу помощь.
KeyedStream<Tuple2<String, Long>, Tuple> stream1 =...
24 просмотров
schedule
22.09.2021
Экземпляр объекта, относящегося к flink Parallelism & Apply Method
Сначала позвольте мне задать свой вопрос, тогда не могли бы вы пояснить мое предположение о методе apply?
Вопрос: если мое приложение создает 1.500.000 (приблизительно) записей в каждый минутный интервал и задание flink читает эти записи от...
34 просмотров
schedule
28.11.2021
Как создать собственный POJO для Apache Flink
Я использую Flink для обработки некоторых данных в формате JSON, поступающих из некоторого источника данных.
На данный момент мой процесс довольно прост: извлеките каждый элемент из данных в формате JSON и распечатайте их в файл журнала.
Вот мой...
299 просмотров
schedule
17.11.2021
Таймаут Flink с использованием KeyedCoProcessFunction и порядок чтения для FlinkKafkaConsumer
Я использую класс KeyedCoProcessFunction в API Flink DataStream для реализации тайм-аута, как в случае использования. Сценарий выглядит следующим образом: у меня есть входная тема kafka и выходная тема Kafka, служба читает из входной темы,...
215 просмотров
schedule
06.10.2021
Шаблон тайм-аута CEP, если следующее событие не получено в заданный интервал времени
Я новичок в Flink, я пытаюсь использовать POC, в котором, если событие не получено в течение x времени, превышающего время, указанное в течение периода времени в CEP
public class MyCEPApplication {
public static void main(String[] args)...
33 просмотров
schedule
04.10.2021
