Я работаю над простой агрегацией, которая суммирует итоги событий, происходящих на данном ресурсе (см .: Рассчитывать итоги и периодически выдавать в flink). С некоторой помощью я заставил это работать, но теперь я столкнулся с другой проблемой.
Я пытаюсь подсчитать общее время жизни ресурса, но я читаю события из потока кинезиса, срок хранения которого составляет 24 часа. Поскольку это означает, что у меня нет доступа к событиям, которые произошли до этого, мне нужно загружать мое состояние из устаревшей (пакетной) системы, которая вычисляет итоги один раз в день.
По сути, я хотел бы как-то загрузить состояние из устаревшей системы (загрузка статистики за вчерашний день), а затем присоединить к ним сегодняшние данные из потока kinesis и избежать дублирования в процессе. В идеале это должен быть разовый процесс, и с этого момента приложение должно запускаться из кинезиса.
Если я что-то пропустил, я с радостью предоставлю более подробную информацию.
Спасибо
