Интеграция Google Dataproc и BigQuery с настраиваемым запросом

Я запускаю искровой кластер с помощью Google dataproc. Я хотел бы получить данные из большого запроса с помощью специального запроса. Я могу запустить базовый пример подсчета слов, но я ищу способ выполнить собственный запрос, например.

SELECT ROW_NUMBER() OVER() as Id, prop11 FROM (
    SELECT prop11 FROM (
        TABLE_DATE_RANGE([mapping.abc_v2_], DATE_ADD(CURRENT_TIMESTAMP(), -1, 'MONTH'), CURRENT_TIMESTAMP())
    ) WHERE (prop11 IS NOT null AND prop11 !="") GROUP EACH BY prop11
)

Есть ли у нас для этого Java API в коннекторе hadoop bigquery?


google-bigquery google-cloud-dataproc
person gana    schedule 20.04.2016    source источник

Ответы (1)


arrow_upward
0
arrow_downward

В настоящее время соединитель BigQuery для Hadoop не поддерживает механизм выполнения запросов BigQuery.

Если ваш запрос может быть выражен как Spark SQL или через преобразования Spark, вы можете использовать экспорт из BigQuery в GCS (текущий рабочий процесс BigQuery Hadoop Connector), а затем использовать Spark для получения окончательного результата.

person Angus Davis    schedule 20.04.2016