Пару лет назад я разговаривал с техническим директором компании, занимающейся предварительным продуктом, которая искала ведущего аналитика. Его команда инженеров работала над продуктом, который должен был быть запущен через 6 месяцев. У него не было пользовательских данных, доступных для анализа аналитиком, но он хотел, чтобы аналитик был в его команде. Роль аналитика в то время заключалась в том, чтобы работать с инженерами, чтобы гарантировать, что входящие данные будут собраны, интегрированы и готовы в хранилище данных, как только данные начнут поступать. Это было все, что аналитик должен был сделать перед началом любого анализа. Я был приятно удивлен его инициативой и прокомментировал: «Должно быть, кто-то обжегся раньше». Он рассмеялся и сказал: «Это я».
Правда в том, что для того, чтобы быть готовым к управлению данными, интеграции прогнозной аналитики или машинного обучения, требуется нечто большее, чем просто данные. Требуется изменение мышления в организации, начиная с проектирования и заканчивая успехом клиентов, от отдельных участников до менеджеров.
В этом посте я поделюсь своими мыслями о лучших практиках ведения бизнеса, основанного на данных.
Цель: ежедневное использование данных во всех бизнес-функциях.
Руководящие принципы:
I. Относитесь к данным как к активу и пользуйтесь единой точкой владения.
II. Обеспечьте бесшовную интеграцию, управление данными и конфиденциальность пользователей.
III. Определите бизнес-показатели и установите ключевые показатели эффективности для измерения бизнес-целей.
IV. Создайте согласованную, масштабируемую инфраструктуру отчетности для оценки производительности.
V. Будьте гибкими, чтобы часто приносить итеративную ценность бизнесу.
VI. Предоставьте командам навыки работы с данными для принятия решений на основе данных.
VII. Интегрируйте прогностическую/предписывающую аналитику в бизнес-решения.
И. Относитесь к данным как к активу и пользуйтесь единой точкой владения.
Владелец: CDO/ руководитель отдела бизнес-аналитики
Владелец данных, будь то директор по данным или руководитель отдела бизнес-аналитики, должен хорошо знать все транзакционные и аналитические базы данных/архитектуру и сотрудничать с заинтересованными сторонами для принятия решений на основе данных.
Транзакционные базы данных:
- Нормализуйте структуру базы данных с помощью референциальных ограничений для обеспечения целостности данных.
- Избегайте жесткого кодирования фактических значений данных в коде для обеспечения масштабируемости и целостности данных. Вместо этого создавайте справочные таблицы.
- Документируйте схему базы данных с помощью диаграммы отношения объектов для анализа структуры базы данных, моделирования данных и устранения неполадок с базой данных.
- Обеспечьте подробный сбор данных из всех систем баз данных транзакций для аналитических проектов. Некоторые примеры:
- Система управления заказами
- Привлечения клиентов
- Взаимодействие с нижней частью воронки
- Нажмите «Потоковые данные».
Хранилище данных и аналитика:
- При разработке хранилища данных сначала сосредоточьтесь на неотложных потребностях бизнеса, но заблаговременно приспосабливайтесь к будущему бизнес-направлению. Создайте инфраструктуру данных, на которую компания сможет положиться в долгосрочной перспективе.
- Используйте ELT (извлечение, загрузка и преобразование), чтобы быстро перемещать транзакционные данные (обращаясь к конфиденциальной информации) в озеро данных, а затем преобразовывать и создавать модели данных для хранилища данных из единого репозитория.
- Используйте git и инструмент построения данных (dbt) для создания хранилища данных и разработки через тестирование с использованием методологии CI/CD (непрерывная интеграция/непрерывная доставка).
- Инвестируйте в новое периферийное хранилище данных (BigQuery/Snowflake) для повышения производительности и края аналитики.
- Обеспечьте бесшовную интеграцию данных из стороннего программного обеспечения, используемого заинтересованными сторонами, такими как:
- Salesforce (Продажи)
- Marketo (маркетинговая электронная почта)
- Net Suite (финансы)
- Zendesk (успех клиентов)
- CJ Affiliate (партнерские/партнерские программы)
- Поисковая реклама 360 (расходы на рекламу)
II. Обеспечьте бесшовную интеграцию, управление данными и конфиденциальность пользователей.
Одно из основных требований к решениям, основанным на данных, — бесшовная интеграция данных. В то время как организации внедряют цифровую трансформацию, управление данными становится сложной задачей. Перед группами обработки данных стоит сложная задача: сделать данные доступными для заинтересованных сторон, аналитиков и специалистов по данным, обеспечив при этом соблюдение внешних правил конфиденциальности, отраслевых стандартов, внутренних данных с использованием лучших практик и, что наиболее важно, соблюдая конфиденциальность пользователей.
Эффективное управление данными гарантирует, что данные непротиворечивы, заслуживают доверия и уважают конфиденциальность пользователей. Реализуйте стратегию управления данными, обеспечивающую своевременное предоставление достоверной информации, с помощью следующих инициатив:
- Инвестируйте в облачную инфраструктуру. Хотя облачная платформа не является обязательной, успех цифровой трансформации зависитот масштабируемой облачной инфраструктуры и инструментов интеграции данных. Выберите облачную инфраструктуру в зависимости от области вашего бизнеса, существующих данных и растущих потребностей бизнеса. AWS, GCP, Azure в настоящее время являются лидерами, заслуживающими внимания.
- Автоматизируйте CI/CD (непрерывную интеграцию, непрерывное развертывание) для конвейера данных с помощью git и инструментов построения данных (dbt). Сделайте происхождение данных доступным через репозиторий метаданных. Эта информация необходима для оценки качества данных, риска и общего соответствия.
- Классифицируйте конфиденциальные данные перед их перемещением в озеро данных. Обеспечьте обработку защиты от потери данных (DLP) и внедрите дифференциальную конфиденциальность для маскировки конфиденциальных данных. Amazon Macie – это полностью управляемая служба безопасности и конфиденциальности данных, которая использует машинное обучение и сопоставление с образцом для обнаружения и защиты ваших конфиденциальных данных в AWS. DLP в Google Cloud предоставляет доступ к надежной платформе проверки конфиденциальных данных, классификации и деидентификации.
III. Определите бизнес-показатели и задайте ключевые показатели эффективности для измерения бизнес-целей.
Бизнес-метрика — это количественная мера, которую предприятия используют для отслеживания, мониторинга и оценки эффективности бизнес-процессов. Ключевой показатель эффективности (KPI) — это бизнес-метрика, которая оценивает и измеряет эффективность ключевых результатов OKR (целей и ключевых результатов). Часто KPI, требующий улучшения, становится отправной точкой для создания OKR и становится ключевым результатом цели. KPI предназначены для измерения работоспособности бизнес-инициативы.
- Сформулируйте бизнес-цели и действенные ключевые результаты с целевыми KPI.
- Определите ключевые показатели эффективности с описанием, формулой, соответствующим SQL с таблицами, источниками данных и обеспечьте соблюдение определения во всех бизнес-функциях.
- Назначьте каждый KPI одной основной бизнес-функции и одной или двум вспомогательным бизнес-функциям.
- Обеспечить управление изменениями и иметь четко определенный процесс утверждения KPI с заинтересованными сторонами и корпоративными контролерами нормативной отчетности.
- Определите соответствующие вторичные бизнес-метрики, чтобы помочь диагностировать производительность основных KPI.
- Необязательно: оцените Looker для определения ключевых показателей эффективности в одном месте в инфраструктуре отчетности для согласованной отчетности.
IV. Создайте согласованную масштабируемую инфраструктуру отчетности для сравнения производительности
Эффективная бизнес-панель — единственный источник правды для понимания состояния бизнеса. Чтобы внедрить комплексную платформу бизнес-аналитики, организации должны разработать эффективную структуру отчетности и аналитики. При правильном подходе хорошо продуманная панель мониторинга может помочь скоординировать организационные усилия, быстро принимать решения на основе данных, повышать эффективность бизнеса и повышать рентабельность инвестиций.
- Иметь единый источник данных, который используется во многих отчетах во многих бизнес-функциях.
- Автоматизируйте конвейер данных в витрины данных и подключите их к инструментам отчетности, таким как Tableau или Data Studio. В качестве альтернативы можно инвестировать в платформы бизнес-аналитики, такие как Looker, чтобы расширить возможности бизнес-пользователей (с навыками работы с SQL или без них) для создания отчетов и анализа.
- Создайте полуавтоматизированную среду, управляемую тестированием, разработав тестовые случаи и написав запросы для каждого теста и выполнив все изменения.
- Обеспечьте автоматическую доставку отчетов по расписанию, вложив средства в инструменты отчетности.
VI. Будьте гибкими, чтобы часто приносить пользу бизнесу.
Как только компания вступает в стадию роста, заинтересованные стороны будут постоянно нуждаться в данных и анализе. Поэтапная реализация проектов отчетности и анализа в соответствии с гибкой методологией может уменьшить нагрузку на группу обработки данных. С каждой итерацией как данные, так и бизнес-команды извлекают выгоду из дополнительного обучения. Затем команда данных уточняет и добавляет новые сигналы для следующего постепенного улучшения.
- Расставьте приоритеты интеграции данных в зависимости от важности проектов данных.
- Обеспечьте согласованность и точность данных перед отчетностью и анализом.
- Создавайте отчеты и анализы на основе уже имеющихся данных. Отчеты являются основой исследовательского анализа, который напрямую связан с успехом проектов по науке о данных.
- Добавляйте больше доступных сигналов и улучшайте результаты.
VI. Предоставьте командам навыки работы с данными для принятия решений на основе данных.
С бурным ростом больших данных будет сложно полагаться только на команду BI для предоставления данных и анализа. Во многих успешных компаниях, работающих с данными, каждый второй бизнес-пользователь может писать SQL и обрабатывать данные. Это ускоряет внедрение в организации культуры принятия решений, основанной на данных. Сегодня знание SQL является преимуществом. В ближайшем будущем незнание SQL будет считаться недостатком. Инвестируйте в непрерывное обучение для всех специалистов по данным и бизнесу.
- Поощряйте бизнес-заинтересованных лиц изучать SQL для обработки и анализа необходимых данных.
- Поощряйте аналитиков иметь статистическую основу и знакомиться с концепциями машинного обучения.
- Поощряйте специалистов по данным изучать и исследовать новые и сложные инструменты и алгоритмы.
VII. Интегрируйте прогностическую и предписывающую аналитику в бизнес-решения с помощью машинного обучения.
Когда будет создана согласованная, масштабируемая и автоматизированная инфраструктура отчетности, подготовьте свою аналитическую группу к предписывающей/предиктивной аналитике. Вот несколько важных показателей успеха в прогностической аналитике:
- Обеспечьте бесшовную интеграцию, очистку и санитарную обработку данных.
- Выберите бизнес-цель и бизнес-метрику, которую нужно улучшить. Собирайте сигналы, относящиеся к целевой бизнес-метрике, на основе знаний предметной области.
- Выполняйте исследовательский анализ данных, чтобы устранить аномалии и выявить закономерности для целевых бизнес-показателей. EDA — один из жизненно важных показателей успеха проекта по науке о данных.
- Инвестируйте время и ресурсы в проекты по науке о данных для прогнозного анализа.
- Потерпи. Проект по науке о данных занимает от 3 до 9 месяцев, в зависимости от масштаба проекта.
- Еще раз, уважайте конфиденциальность пользователей.