Знаете ли вы, что подавляющее 35% продаж Amazon приходится на рекомендации товаров?

Знаете ли вы, что плейлисты Spotify Discover Weekly и Release Radar создаются компьютером и составляют 31% всего прослушивания на платформе?

Добавьте к этому, знаете ли вы, что впечатляющие 80% времени потоковой передачи Netflix проходят через его рекомендательную систему, которая позволяет сэкономить 1 миллиард долларов США на привлечении клиентов?

Что ж, вас не должно удивлять, что эти технологические компании имеют общую черту — сильную культуру, основанную на данных, которая использует новейшие технологии, такие как искусственный интеллект, машинное обучение и глубокое обучение.

Это стало очевидным, когда Gartner расширила охват технологий искусственного интеллекта в опубликованном ранее в этом году отчете Gartner Hype Cycle for Emerging Technologies, 2020. В нем также говорится, что к 2021 году 80% новых технологий будут основаны на искусственном интеллекте.

Несмотря на то, что главные истории являются образцовыми, многие организации по всему миру все еще пытаются извлечь существенную выгоду для бизнеса, используя эти прорывные технологии. По данным IDC, 25 % организаций по всему миру, которые уже используют ИИ-решения, сообщают о частоте отказов до 50 %. Опрос также показал, что нереалистичные ожидания и нехватка квалифицированных кадров были одними из основных причин неудач.

Успешным компаниям культура «Data First» или «AI First» помогла им не только согласовать своих людей и процессы, но и их цели. Они преуспевают в разработке платформ AI/ML, которые постоянно настраиваются, чтобы оставаться эффективными по мере изменения бизнес-приоритетов.

Publicis Sapient — истории успеха

Команда разработчиков Publicis Sapient помогла глобальным компаниям подготовиться к будущему, ускорив внедрение технологий на основе искусственного интеллекта и машинного обучения. Мы помогли клиенту из автомобильной отрасли увеличить количество тест-драйвов на одном из азиатских рынков на 900 %, значительно увеличить сбор информации о потенциальных клиентах и ​​получить возможность непрерывно анализировать +1 тыс. точек данных. Подробнее об этом здесь.

Несколько лет назад Publicis Sapient также привлекала глобальную компанию быстрого питания к модернизации их цифровых досок меню для проезда, превратив их из просто досок меню в интерактивный маркетинговый канал в режиме реального времени, предоставляющий информацию на основе данных, которая, в свою очередь, привела к увеличению доходов. и повышение удовлетворенности и лояльности клиентов. Подробнее об этом здесь.

Исходя из нашего опыта, менеджеры по продуктам должны играть ключевую роль не только в организации предоставления ценности для бизнеса, но и в интенсивной работе с инженерами по машинному обучению, учеными и инженерами по данным, учитывая экспериментальный характер взаимодействия с машинным обучением.

Мы рады поделиться некоторыми ключевыми выводами, полученными в результате взаимодействия с машинным обучением, и надеемся, что менеджеры по продуктам, начинающие свой путь в области машинного обучения, сочтут их полезными.

Прежде чем мы перейдем к основным выводам, давайте сначала разберемся, что такое жизненный цикл разработки продукта машинного обучения.

Жизненный цикл разработки продукта машинного обучения

Типичный жизненный цикл разработки продукта машинного обучения описывает основные этапы разработки продукта. Менеджерам по продуктам крайне важно понимать свои обязанности, а также основные навыки, необходимые на этих этапах. Важно отметить, что циклический характер этих фаз отражает истинную ДНК каждого взаимодействия с машинным обучением: экспериментальное и постоянное совершенствование.

Теперь давайте подробно разберем каждый из этих этапов в следующих разделах. Каждый раздел завершается таблицей, в которой отражены основные выводы, а также указан уровень участия, ожидаемый от менеджера по продукту на соответствующем этапе.

Понимание бизнеса

Понимание бизнес-контекста и стратегических императивов является ключом к успеху вашего продукта. Менеджеры по продукту должны тесно сотрудничать со всеми соответствующими заинтересованными сторонами, чтобы получить четкое представление о том, «что» и «почему» продукта.

Показательный пример: согласно отчету о глобальном мошенничестве от CyberSource, значительная часть глобальных предприятий электронной коммерции выделяет свой годовой бюджет на борьбу с мошенничеством в электронной торговле на проверку заказов персоналом, а также на автоматизацию системы. Для растущего бизнеса электронной коммерции зависимость от проверяющего персонала и/или систем проверки транзакций, основанных на правилах, может в конечном итоге создать проблему в виде увеличения количества ложных срабатываний по мере роста объема транзакций. Машинное обучение — это эффективная стратегия в таких случаях, поскольку оно может обрабатывать большие наборы данных и выявлять шаблоны в масштабе с достаточной точностью.

Как правило, когда ваша бизнес-цель попадает в категорию, требующую реализации сложной логики, расширенной персонализации, более быстрого масштабирования бизнес-процессов или генерации правил в реальном времени, то чаще всего ML является определенным выбором. -к стратегии.

Еще один способ взглянуть на это — то, как сегодня принимаются бизнес-решения. Скажем, если человеческие прогнозы более или менее точны, а модель машинного обучения работает на том же уровне, то вам лучше принимать решения по-человечески. Однако, когда точность прогнозирования не является маргинальной, а при развертывании системы поддержки принятия решений на основе машинного обучения наблюдается значительное улучшение, тогда существует определенное экономическое обоснование для машинного обучения. Например, опытный менеджер по продажам в компании по производству игрушек, по всей вероятности, послужит хорошим прогнозирующим агентом для прогнозирования спроса с отклонением +/- 30%, основанным на этом опыте и интуиции, и такие отклонения неизменно будут трансформироваться в стоимость запасов. накопление или упущенная выгода от продаж для организации. Система прогнозирования спроса на основе машинного обучения, которая может делать прогнозы при отклонениях +/- 10%, что повышает ценность бизнеса.

Как вы можете себе представить, даже при стоимости единицы продукции в 20-25 долларов влияние на эффективность бизнеса огромно даже при небольшом улучшении (5%, 10%, 15%…) прогнозов.

Для менеджера по продукту это один из самых важных этапов жизненного цикла для обеспечения успеха.

Постановка целей

На этом этапе бизнес-цели преобразуются в цели продукта. Учитывая экспериментальный характер взаимодействия с ОД, цель ОД состоит из наблюдаемой количественно измеряемой метрики успеха и ее целевого значения (определения успеха). Распространенными показателями успеха являются точность, точность и баллы F1 (точность и полнота), и это лишь некоторые из них. Например, метрикой успеха может быть точность рекомендаций по продукту для вашего бизнеса электронной коммерции или точность прогнозирования неплательщиков в кредитном бизнесе.

В ситуациях, когда предварительные отчеты о производительности недоступны, менеджеры по продукту должны работать с инженерами по машинному обучению вместо того, чтобы ставить цели на основе качественной информации или просто эвристики, чтобы выполнить ожидаемое упражнение производительности модели, которое аналогично к техническому спайку, который можно сделать, не затрачивая много времени и сил. Этот шаг имеет решающее значение для первоначальной поддержки со стороны руководства, особенно в организациях, которые только начинают свой путь в области машинного обучения.

Настоятельно рекомендуется, чтобы менеджеры по продуктам постоянно пересматривали цели машинного обучения, чтобы оценить, насколько хорошо модель работает с течением времени. Он также служит механизмом обратной связи для пересмотра бизнес-целей, когда это применимо.

На приведенной ниже диаграмме представлен процесс постановки целей, а также важность проверки целей для успешного создания отличных продуктов.

Показательный пример.В ходе недавнего взаимодействия с клиентом из автомобильной отрасли бизнес-цель заключалась в том, чтобы сократить время цикла исследования разработки продукта с 3 до 1 месяца (сокращение времени цикла на 66 %). ). Продукт на основе машинного обучения, который мы предоставили, был инструментом рекомендации статей, который будет служить исследователям с функцией контекстного поиска для извлечения наиболее релевантных статей. С точки зрения постановки целей метрикой успеха был процент релевантных статей в 100 лучших перечисленных статей, а успех определялся как 95% релевантности (т.е. 95 из 100 лучших статей должны иметь отношение к теме, которую искал пользователь).

Другим примером может служить розничный продавец, который поставил цель увеличить общий объем продаж на 20 %. Из многих применимых стратегий, основанных на машинном обучении, вероятной стратегией может быть уточнение персонализированных рекомендаций по продуктам, которые приведут к большему количеству конверсий. Если текущий уровень успеха составляет 10%, то мы могли бы рассмотреть возможность установления целевого уровня 15%. Часто существует тенденция устанавливать более высокое значение, скажем, 50% для этого примера, но мы не рекомендуем это делать.

Упражнение по постановке целей также помогает оценить, есть ли у нас обоснованное экономическое обоснование использования ML. Если ожидаемая производительность модели не соответствует бизнес-ожиданиям, вероятно, ML не является идеальной стратегией перехода. Скажем, если вы разрабатываете модель прогнозирования погоды и максимальная точность, которую вы можете достичь в конце нескольких итераций моделирования, составляет 70%, то она все равно не соответствует цели почти точного прогнозирования.

Авторы: Нитин Субхакар и Шубхам Трипати.