В моем случае для Google Cloud Dataflow я использую Redis в качестве кеша во время конвейера, поскольку выполняемое преобразование зависит от некоторых кэшированных данных. Это означало бы выполнение команд Redis GET. В документации по официальному встроенному преобразованию ввода-вывода Redis упоминается поддержка нескольких методов:
read - "предоставляет источник, который возвращает ограниченную коллекцию PCollection, содержащую пары ключ / значение в виде KV"
readAll - «может использоваться для запроса сервера Redis с использованием входных элементов PCollection в качестве шаблона ключа (как String)»
Похоже, что readAll не соответствует команде GET, потому что входная коллекция PCollection будет использоваться для фильтрации результата сканирования всего источника Redis, так что это не то, что я ищу.
Мне было интересно, есть ли что-то, чего мне не хватает, когда я смотрю на встроенное преобразование ввода-вывода, которое позволило бы мне использовать мой вариант использования, или есть ли альтернативы, такие как сторонние преобразования ввода-вывода с открытым исходным кодом, которые его поддерживают. Или это что-то принципиально несовместимое с Apache Beam?
