BigQuery: в результатах гораздо больше столбцов, которые я выбрал после использования функции UNNEST и способов очистки данных результатов.

Я использовал следующий код для запроса данных Google Analytics из BigQuery. Я выбрал только несколько показателей, но, судя по результатам, все начинается с «продукта».

#standardSQL
SELECT
  date, prod.productRevenue,
  hits.transaction.transactionId, 
  prod.productQuantity, hits.product, prod.productSKU
FROM `XXX.ga_sessions_*`,
UNNEST(hits) AS hits,
UNNEST(hits.product) AS prod   
WHERE _TABLE_SUFFIX BETWEEN 'XXX' AND 'XXX' AND hits.transaction.transactionId IS NOT NULL

Это потому, что я использовал UNNEST? Если да, то что мне делать, чтобы запрашивать только выбранные мной столбцы?

Кроме того, есть ли хороший способ очистить данные результатов? Данные результатов выглядят так:

v2ProductName:"AAA" productQuantity:"1" transactionId:"123"
v2ProductName:"BBB" productQuantity:"1" transactionId:"456"

Но я хочу:

+---------------+-----------------+---------------+
| v2ProductName | productQuantity | transactionId |
+---------------+-----------------+---------------+
| AAA           | 1               | 123           |
| BBB           | 1               | 456           |
+---------------+-----------------+---------------+

Есть ли способ отформатировать такие результаты перед экспортом из BigQuery? Если нет, есть ли хороший способ сделать это?


person xxyb    schedule 21.05.2019    source источник
comment
Данные результатов выглядят так - где они выглядят так? Представление зависит от контекста   -  person Felipe Hoffa    schedule 22.05.2019
comment
Экспортируйте результаты как файл json, файл json выглядит так   -  person xxyb    schedule 22.05.2019
comment
Итак, вы хотите, чтобы файл JSON выглядел как файл CSV? Вы пробовали экспортировать его как CSV?   -  person Felipe Hoffa    schedule 22.05.2019
comment
Файл слишком велик для экспорта в формате CSV. Единственный вариант, который мне предоставил BigQuery, - это JSON.   -  person xxyb    schedule 23.05.2019
comment
AFAIK - нет ограничений на размер экспорта CSV   -  person Felipe Hoffa    schedule 23.05.2019
comment
Нет, у них есть ограничения на экспорт: cloud.google.com/bigquery/docs/exporting- данные   -  person xxyb    schedule 23.05.2019
comment
Какое ограничение вы видите в этом?   -  person Felipe Hoffa    schedule 23.05.2019
comment
Вы не можете экспортировать вложенные и повторяющиеся данные в формате CSV. Думаю, поэтому я не могу экспортировать его как CSV   -  person xxyb    schedule 24.05.2019
comment
Похоже, что вставленный вами запрос не содержит вложенных данных. Вставленные вами результаты JSON также не соответствуют запросу. Убедитесь, что ваши результаты не содержат вложенных / повторяющихся данных, и вы сможете экспортировать CSV.   -  person Felipe Hoffa    schedule 24.05.2019


Ответы (1)


Похоже, что вставленный вами запрос не содержит вложенных данных.

Вставленные вами результаты JSON также не соответствуют запросу.

Убедитесь, что ваши результаты не содержат вложенных / повторяющихся данных, и вы сможете экспортировать CSV.

person Felipe Hoffa    schedule 23.05.2019