Проблема
Мы хотели бы использовать тему EventHub в Azure с помощью конвейера потока данных в Google Cloud.
Вопрос
Известно ли, позволяет ли KafkaIO использовать данные из EventHub непосредственно в задании потока данных Apache Beam / Google Cloud? (см. этот пост)
Также приветствуются альтернативные подходы для получения данных EventHub в Pub / Sub (например, публикация из Azure Streaming Analytics в Pub / Sub).
Спасибо!
Центры событий Azure поддерживают Apache Протокол Kafka 1.0 и более поздних версий, поэтому вы должны иметь возможность получать события из концентраторов событий, используя KafkaIO (который поддерживает версии Kafka 0.10.1 и новее). В Google Cloud есть руководство по обработке сообщений от Kafka в потоке данных здесь.
Концентраторы событий Azure двоично совместимы с протоколом Kafka, поэтому любой клиент или конвейер Kafka должен иметь возможность получать события из раздела концентраторов событий.
