Пару лет назад я разговаривал с техническим директором компании, занимающейся предварительным продуктом, которая искала ведущего аналитика. Его команда инженеров работала над продуктом, который должен был быть запущен через 6 месяцев. У него не было пользовательских данных, доступных для анализа аналитиком, но он хотел, чтобы аналитик был в его команде. Роль аналитика в то время заключалась в том, чтобы работать с инженерами, чтобы гарантировать, что входящие данные будут собраны, интегрированы и готовы в хранилище данных, как только данные начнут поступать. Это было все, что аналитик должен был сделать перед началом любого анализа. Я был приятно удивлен его инициативой и прокомментировал: «Должно быть, кто-то обжегся раньше». Он рассмеялся и сказал: «Это я».

Правда в том, что для того, чтобы быть готовым к управлению данными, интеграции прогнозной аналитики или машинного обучения, требуется нечто большее, чем просто данные. Требуется изменение мышления в организации, начиная с проектирования и заканчивая успехом клиентов, от отдельных участников до менеджеров.

В этом посте я поделюсь своими мыслями о лучших практиках ведения бизнеса, основанного на данных.

Цель: ежедневное использование данных во всех бизнес-функциях.

Руководящие принципы:

I. Относитесь к данным как к активу и пользуйтесь единой точкой владения.

II. Обеспечьте бесшовную интеграцию, управление данными и конфиденциальность пользователей.

III. Определите бизнес-показатели и установите ключевые показатели эффективности для измерения бизнес-целей.

IV. Создайте согласованную, масштабируемую инфраструктуру отчетности для оценки производительности.

V. Будьте гибкими, чтобы часто приносить итеративную ценность бизнесу.

VI. Предоставьте командам навыки работы с данными для принятия решений на основе данных.

VII. Интегрируйте прогностическую/предписывающую аналитику в бизнес-решения.

И. Относитесь к данным как к активу и пользуйтесь единой точкой владения.
Владелец: CDO/ руководитель отдела бизнес-аналитики

Владелец данных, будь то директор по данным или руководитель отдела бизнес-аналитики, должен хорошо знать все транзакционные и аналитические базы данных/архитектуру и сотрудничать с заинтересованными сторонами для принятия решений на основе данных.

Транзакционные базы данных:

  1. Нормализуйте структуру базы данных с помощью референциальных ограничений для обеспечения целостности данных.
  2. Избегайте жесткого кодирования фактических значений данных в коде для обеспечения масштабируемости и целостности данных. Вместо этого создавайте справочные таблицы.
  3. Документируйте схему базы данных с помощью диаграммы отношения объектов для анализа структуры базы данных, моделирования данных и устранения неполадок с базой данных.
  4. Обеспечьте подробный сбор данных из всех систем баз данных транзакций для аналитических проектов. Некоторые примеры:
  • Система управления заказами
  • Привлечения клиентов
  • Взаимодействие с нижней частью воронки
  • Нажмите «Потоковые данные».

Хранилище данных и аналитика:

  1. При разработке хранилища данных сначала сосредоточьтесь на неотложных потребностях бизнеса, но заблаговременно приспосабливайтесь к будущему бизнес-направлению. Создайте инфраструктуру данных, на которую компания сможет положиться в долгосрочной перспективе.
  2. Используйте ELT (извлечение, загрузка и преобразование), чтобы быстро перемещать транзакционные данные (обращаясь к конфиденциальной информации) в озеро данных, а затем преобразовывать и создавать модели данных для хранилища данных из единого репозитория.
  3. Используйте git и инструмент построения данных (dbt) для создания хранилища данных и разработки через тестирование с использованием методологии CI/CD (непрерывная интеграция/непрерывная доставка).
  4. Инвестируйте в новое периферийное хранилище данных (BigQuery/Snowflake) для повышения производительности и края аналитики.
  5. Обеспечьте бесшовную интеграцию данных из стороннего программного обеспечения, используемого заинтересованными сторонами, такими как:
  • Salesforce (Продажи)
  • Marketo (маркетинговая электронная почта)
  • Net Suite (финансы)
  • Zendesk (успех клиентов)
  • CJ Affiliate (партнерские/партнерские программы)
  • Поисковая реклама 360 (расходы на рекламу)

II. Обеспечьте бесшовную интеграцию, управление данными и конфиденциальность пользователей.

Одно из основных требований к решениям, основанным на данных, — бесшовная интеграция данных. В то время как организации внедряют цифровую трансформацию, управление данными становится сложной задачей. Перед группами обработки данных стоит сложная задача: сделать данные доступными для заинтересованных сторон, аналитиков и специалистов по данным, обеспечив при этом соблюдение внешних правил конфиденциальности, отраслевых стандартов, внутренних данных с использованием лучших практик и, что наиболее важно, соблюдая конфиденциальность пользователей.

Эффективное управление данными гарантирует, что данные непротиворечивы, заслуживают доверия и уважают конфиденциальность пользователей. Реализуйте стратегию управления данными, обеспечивающую своевременное предоставление достоверной информации, с помощью следующих инициатив:

  1. Инвестируйте в облачную инфраструктуру. Хотя облачная платформа не является обязательной, успех цифровой трансформации зависитот масштабируемой облачной инфраструктуры и инструментов интеграции данных. Выберите облачную инфраструктуру в зависимости от области вашего бизнеса, существующих данных и растущих потребностей бизнеса. AWS, GCP, Azure в настоящее время являются лидерами, заслуживающими внимания.
  2. Автоматизируйте CI/CD (непрерывную интеграцию, непрерывное развертывание) для конвейера данных с помощью git и инструментов построения данных (dbt). Сделайте происхождение данных доступным через репозиторий метаданных. Эта информация необходима для оценки качества данных, риска и общего соответствия.
  3. Классифицируйте конфиденциальные данные перед их перемещением в озеро данных. Обеспечьте обработку защиты от потери данных (DLP) и внедрите дифференциальную конфиденциальность для маскировки конфиденциальных данных. Amazon Macie – это полностью управляемая служба безопасности и конфиденциальности данных, которая использует машинное обучение и сопоставление с образцом для обнаружения и защиты ваших конфиденциальных данных в AWS. DLP в Google Cloud предоставляет доступ к надежной платформе проверки конфиденциальных данных, классификации и деидентификации.

III. Определите бизнес-показатели и задайте ключевые показатели эффективности для измерения бизнес-целей.

Бизнес-метрика — это количественная мера, которую предприятия используют для отслеживания, мониторинга и оценки эффективности бизнес-процессов. Ключевой показатель эффективности (KPI) — это бизнес-метрика, которая оценивает и измеряет эффективность ключевых результатов OKR (целей и ключевых результатов). Часто KPI, требующий улучшения, становится отправной точкой для создания OKR и становится ключевым результатом цели. KPI предназначены для измерения работоспособности бизнес-инициативы.

  1. Сформулируйте бизнес-цели и действенные ключевые результаты с целевыми KPI.
  2. Определите ключевые показатели эффективности с описанием, формулой, соответствующим SQL с таблицами, источниками данных и обеспечьте соблюдение определения во всех бизнес-функциях.
  3. Назначьте каждый KPI одной основной бизнес-функции и одной или двум вспомогательным бизнес-функциям.
  4. Обеспечить управление изменениями и иметь четко определенный процесс утверждения KPI с заинтересованными сторонами и корпоративными контролерами нормативной отчетности.
  5. Определите соответствующие вторичные бизнес-метрики, чтобы помочь диагностировать производительность основных KPI.
  6. Необязательно: оцените Looker для определения ключевых показателей эффективности в одном месте в инфраструктуре отчетности для согласованной отчетности.

IV. Создайте согласованную масштабируемую инфраструктуру отчетности для сравнения производительности

Эффективная бизнес-панель — единственный источник правды для понимания состояния бизнеса. Чтобы внедрить комплексную платформу бизнес-аналитики, организации должны разработать эффективную структуру отчетности и аналитики. При правильном подходе хорошо продуманная панель мониторинга может помочь скоординировать организационные усилия, быстро принимать решения на основе данных, повышать эффективность бизнеса и повышать рентабельность инвестиций.

  1. Иметь единый источник данных, который используется во многих отчетах во многих бизнес-функциях.
  2. Автоматизируйте конвейер данных в витрины данных и подключите их к инструментам отчетности, таким как Tableau или Data Studio. В качестве альтернативы можно инвестировать в платформы бизнес-аналитики, такие как Looker, чтобы расширить возможности бизнес-пользователей (с навыками работы с SQL или без них) для создания отчетов и анализа.
  3. Создайте полуавтоматизированную среду, управляемую тестированием, разработав тестовые случаи и написав запросы для каждого теста и выполнив все изменения.
  4. Обеспечьте автоматическую доставку отчетов по расписанию, вложив средства в инструменты отчетности.

VI. Будьте гибкими, чтобы часто приносить пользу бизнесу.

Как только компания вступает в стадию роста, заинтересованные стороны будут постоянно нуждаться в данных и анализе. Поэтапная реализация проектов отчетности и анализа в соответствии с гибкой методологией может уменьшить нагрузку на группу обработки данных. С каждой итерацией как данные, так и бизнес-команды извлекают выгоду из дополнительного обучения. Затем команда данных уточняет и добавляет новые сигналы для следующего постепенного улучшения.

  1. Расставьте приоритеты интеграции данных в зависимости от важности проектов данных.
  2. Обеспечьте согласованность и точность данных перед отчетностью и анализом.
  3. Создавайте отчеты и анализы на основе уже имеющихся данных. Отчеты являются основой исследовательского анализа, который напрямую связан с успехом проектов по науке о данных.
  4. Добавляйте больше доступных сигналов и улучшайте результаты.

VI. Предоставьте командам навыки работы с данными для принятия решений на основе данных.

С бурным ростом больших данных будет сложно полагаться только на команду BI для предоставления данных и анализа. Во многих успешных компаниях, работающих с данными, каждый второй бизнес-пользователь может писать SQL и обрабатывать данные. Это ускоряет внедрение в организации культуры принятия решений, основанной на данных. Сегодня знание SQL является преимуществом. В ближайшем будущем незнание SQL будет считаться недостатком. Инвестируйте в непрерывное обучение для всех специалистов по данным и бизнесу.

  1. Поощряйте бизнес-заинтересованных лиц изучать SQL для обработки и анализа необходимых данных.
  2. Поощряйте аналитиков иметь статистическую основу и знакомиться с концепциями машинного обучения.
  3. Поощряйте специалистов по данным изучать и исследовать новые и сложные инструменты и алгоритмы.

VII. Интегрируйте прогностическую и предписывающую аналитику в бизнес-решения с помощью машинного обучения.

Когда будет создана согласованная, масштабируемая и автоматизированная инфраструктура отчетности, подготовьте свою аналитическую группу к предписывающей/предиктивной аналитике. Вот несколько важных показателей успеха в прогностической аналитике:

  1. Обеспечьте бесшовную интеграцию, очистку и санитарную обработку данных.
  2. Выберите бизнес-цель и бизнес-метрику, которую нужно улучшить. Собирайте сигналы, относящиеся к целевой бизнес-метрике, на основе знаний предметной области.
  3. Выполняйте исследовательский анализ данных, чтобы устранить аномалии и выявить закономерности для целевых бизнес-показателей. EDA — один из жизненно важных показателей успеха проекта по науке о данных.
  4. Инвестируйте время и ресурсы в проекты по науке о данных для прогнозного анализа.
  5. Потерпи. Проект по науке о данных занимает от 3 до 9 месяцев, в зависимости от масштаба проекта.
  6. Еще раз, уважайте конфиденциальность пользователей.