Публикации по теме 'bigquery'
Создайте API рекомендаций с помощью GCP x GO x Datastore x BigQuery
Мотивация
Big Query ML позволяет создавать модели машинного обучения без дополнительных навыков внедрения. Он также не требует ETL и очень прост в использовании. Я понял, как построить простейшую систему рекомендаций с помощью BigQuery ML.
Обзор
Создайте механизм рекомендаций с помощью BigQuery ML Matrix Factorization, создайте список рекомендаций (пользователь x элемент) и зарегистрируйте его в хранилище данных. Реализуйте API рекомендаций, чтобы получить список элементов..
Как использовать новую функцию клонирования таблиц в BigQuery
Отличная новая функция управления версиями данных в Google BigQuery.
Если вы хотите делать снимки таблиц в Big Query, например. чтобы обеспечить управление версиями, теперь у вас есть еще один вариант. А именно функция клонирования таблицы. Google предлагает это решение на данный момент в предварительной версии, однако остальные из нас также получат его рано или поздно, как обычно.
Вычислить среднее значение, медианное значение и режим в BigQuery
Прямой код для вычисления простых агрегатов
BigQuery - это аналитический инструмент с быстрой обработкой, который обрабатывает запросы SQL на платформе Google Cloud Platform. В этой статье я покажу примеры кода для вычисления среднего, медианного и режима простого набора данных в BigQuery. Каждый раз, когда мы начинаем исследовательский анализ данных, это первые несколько показателей, которые необходимо вычислить в числовых полях, чтобы понять распределение данных.
Если вы хотите узнать..
Как перенести данные из BigQuery в PostgreSQL
Прежде чем углубляться в детали нашего процесса миграции данных, убедитесь, что у вас есть следующие предварительные условия:
Уверенное понимание Python Базовые знания баз данных Python и pip установлены в вашей системе
Чтобы убедиться, что Python и pip установлены, выполните в терминале следующие команды:
python --version
pip --version
Настройка среды
Начнем с настройки окружения:
Создайте новый каталог, в котором вы будете работать над сценарием миграции. Внутри этого..
Google запускает оператор индексации массива
Как теперь вы можете запрашивать массив напрямую по индексу
Google только что объявил, что теперь вы можете использовать оператор индекса массива, который будет возвращать значение в массиве непосредственно по индексу [1].
Так что это довольно удобная функция при работе с полуструктурированными данными, хранящимися в массивах, до этого приходилось использовать смещение и порядковый номер. Я также очень рад тому факту, что эта функция уже общедоступна...
Как обучать и прогнозировать регрессионные и классификационные модели машинного обучения, используя только SQL - с помощью BigQuery ML
В своей книге ( Data Science on the Google Cloud Platform ) я рассмотрю проблему прогнозирования задержки полета и покажу, как ее решить, используя различные инструменты, включая Spark Mlib и TensorFlow. Теперь, когда было объявлено о BigQuery ML, я подумал, что покажу, как прогнозировать задержки рейсов с помощью BQ ML.
Не заблуждайтесь - вам все равно нужно собирать данные, исследовать их, очищать и обогащать. По сути, все, что я делаю в главах 1–9. В главе 10 я использовал..
Как удалить повторяющиеся данные из Google BigQuery
Три способа очистки данных в BigQuery SQL
Google BigQuery — это мощное хранилище данных SaaS, которое позволяет быстро и эффективно анализировать большие наборы данных. Однако, если ваш набор данных содержит повторяющиеся данные, будь то ошибка в ваших данных или некоторые обстоятельства в ваших процессах интеграции данных, это, конечно, может повлиять на ваш анализ и исказить ваши результаты.
Давайте начнем с создания некоторых фиктивных данных с дубликатами. Вот пример кода, если..
