Я использую Spotify Scio для создания конвейера потока данных scala, который запускается сообщением Pub/Sub . Он читает из нашего личного DB , а затем вставляет информацию в BigQuery . Проблема в: Мне нужно удалить предыдущие данные...

У меня проблема. Я создал проект SCIO (Apache Beam) через архетип sbt: sbt new spotify / scio.g8 Цель этого задания - прочитать паркетный файл из GS Когда я использую ParquetIO, предоставляемый Apache Beam, непосредственно в SCIO, эта работа...

Я хочу настроить метки для заданий потока данных Google для целей распределения затрат. Вот пример рабочего кода Java: private DataflowPipelineOptions options = PipelineOptionsFactory.fromArgs(args).as(DataflowPipelineOptionsImpl.class);...

От: https://github.com/spotify/scio/wiki/Scio-data-guideline «Предпочитайте преобразования объединения/агрегирования/уменьшения, а не groupByKey. Имейте в виду, что операция сокращения должна быть ассоциативной и коммутативной». Почему, в...

Я создаю конвейер для резервного копирования данных из PubSub в GCS и хотел создать тест с использованием JobTest , и я изо всех сил пытаюсь заставить PubSubIO правильно получить время события. PubSub читается с помощью...

Я написал задание Apache Beam с использованием Scio с целью создания идентификаторов сеансов для входящих записей данных, а затем каким-либо образом их обогащать, прежде чем выводить их в BigQuery. Вот код: val measurements =...

цель: Я хочу загрузить данные потока, затем добавить ключ, а затем посчитать их по ключу. проблема: Пиплайн Apache Beam Dataflow получает ошибку памяти, когда я пытаюсь загрузить и сгруппировать по ключу данные большого размера с...

У меня есть следующий вариант использования: Есть тема PubSub с данными, которые я хочу агрегировать с помощью Scio, а затем сохранить эти агрегаты в BigTable. В моем конвейере есть агрегирование CountByKey . Я хотел бы иметь возможность...