5 уроков машинного обучения для продакт-менеджеров  — «Учитывайте продукт»

Искусственный интеллект (ИИ), вероятно, является самой большой коммерческой возможностью в современной экономике. Что это значит для нас как менеджеров по продукту? Мы все используем продукты, основанные на искусственном интеллекте или машинном обучении (ML), почти каждый день, и количество этих продуктов будет расти в геометрической прогрессии в течение следующих нескольких лет. По данным Crunchbase, в 2018 году […]Подробнее…

Что это значит для нас как менеджеров по продукту? Во-первых, по мере того, как владельцы бизнеса осознают влияние ИИ и интегрируют его в ключевые бизнес-процессы, становится все более важным понимать хотя бы некоторые основы ИИ, даже для тех, кто не работает с продуктами ИИ. Во-вторых, поскольку хорошие продакт-менеджеры также являются отличными наращивателями потенциала своих команд, вам следует начать искать возможности, которые ИИ может предоставить для вашего продукта.

Я хотел бы поделиться пятью уроками из моего опыта, которые могут помочь вам начать свой собственный путь.

Урок 1. Поймите проблему, которую вы пытаетесь решить с помощью машинного обучения

Каждый процесс разработки продукта начинается с определения правильной проблемы, которую необходимо решить: вы все помните, что пользователи покупают дрель не ради самой дрели или красивого отверстия, которое может сделать эта дрель, они покупают ее для красивой столовой, которую хотят сделать. украсить картинкой. Но с машинным обучением само решение настолько захватывающее и новое, что возникает соблазн забыть спросить себя, зачем оно вам вообще нужно. Когда выходит новый iPhone, для некоторых людей это больше связано с шумихой и стоянием в очереди, чем с новым функционалом.

По моему опыту, проблемы, которые может помочь решить ML, обычно попадают в одну из следующих категорий:

Можем ли мы сделать пользовательский опыт более индивидуальным и персонализированным?

Представьте, что вы идете в кафе. Что бы вы предпочли: тот, где бариста знает ваше имя и ваш любимый напиток и играет ваша любимая музыка, или тот, где все сделано для обычного клиента? Долгое время мы создавали продукты для большинства — так работает массовое производство — но в мире, где персонализация становится возможной в масштабе, мы можем и должны создавать для всех.

Бюджет у людей ограничен не только в деньгах, но и во внимании. В Рабочем месте, где я работаю, Лента новостей помогает людям подключаться к самым актуальным рабочим обновлениям, чтобы, когда у них есть всего одна минута, они могли прочитать самый важный фрагмент контента, о котором они должны знать.

Чтобы выявить эти проблемы, обычно необходимо сочетать наблюдение и анализ данных. В случае с новостной лентой это означало бы спросить, есть ли у людей много новых сообщений, которые они не просматривают. Если это так, ранжирование может помочь. Или у них очень мало сообщений в их инвентаре, но доступно гораздо больше контента для открытий? Если это так, это, вероятно, проблема с рекомендацией.

Можем ли мы сделать пользовательский опыт более безопасным?

Спам-движки — самый известный пример, но есть и другие. Обнаружение аномалий используется для выявления подозрительных банковских транзакций или поддельных счетов. Классификаторы целостности позволяют помечать вредоносное или вредоносное содержимое, созданное пользователями. Раньше большинство из этих вещей требовало больших человеческих усилий, а теперь, учитывая огромный рост цифрового мира, без машинного обучения это было бы невозможно.

Чтобы выявить эти проблемы, вам потребуется провести очень тщательный анализ рисков и понять возможные последствия для вашего продукта.

Можем ли мы помочь пользователям достичь их целей проще или быстрее?

Можно ли сократить количество шагов для выполнения задачи? Например, если мне нужно написать электронное письмо, есть функция автозаполнения, которая позволяет мне сделать это быстрее. Если мне нужно купить продукты на неделю, есть раздел «С этим товаром обычно покупают…».

Чтобы определить эти проблемы, мы должны знать, как выглядит путь пользователя: чего пользователи пытаются достичь с помощью нашего продукта и какие шаги они должны предпринять?

Можем ли мы создать новый опыт, который раньше был невозможен?

Например, из более чем 36 миллионов слепых и более 217 миллионов людей с нарушением зрения от легкой до тяжелой степени (ВОЗ, 2018) многие люди могут чувствовать себя исключенными из онлайн-разговоров вокруг фотографий. Функция автоматического альтернативного текста в Facebook создает описания фотографий, которые эти пользователи могут воспроизводить с помощью программы чтения с экрана, чтобы они могли присоединиться к обсуждению.

Единственный способ выявить эти проблемы — это глубоко понять потребности пользователей и болевые точки.

В целом, основная проблема заключается в том, что пользователи редко говорят о подобных проблемах и редко запрашивают функции, которые могли бы помочь нам сделать вывод о наличии таких проблем. Вот почему невероятно важно развивать хороший уровень эмпатии и понимания пользователей не только для себя, но и для всей команды. Понимание проблемы повлияет на то, какие данные мы решим собирать, какие функции создавать, какую модель выбирать и, наконец, как определить успех: поэтому важно убедиться, что все члены команды находятся на одной волне.

Урок 2. Оцените, является ли машинное обучение лучшим способом решения проблемы

Когда я работал в стартапе, работая над общением гостей с отелем через планшеты в номерах, у одного из инженеров возникла идея создать чат-бота, который помог бы гостям быстро находить актуальную информацию о своем пребывании. Это также уменьшит нагрузку на администраторов, которым обычно приходится отвечать на такие вопросы. Мы поговорили с администраторами и быстро определили, что 85% вопросов от гостей отеля исходили из следующего списка:

• Когда время выезда?
• Когда завтрак?
• А какой пароль от вай фай?

Мы сделали виджет, который отвечал бы на все эти вопросы, как только гость брал в руки планшет. Затем мы попытались понять, есть ли смысл отвечать на оставшиеся 15% запросов с помощью машинного обучения. Мы провели классический эксперимент «Волшебник страны Оз», в котором мы установили виджет чата на свои планшеты, но на все вопросы отвечали настоящие люди, а не боты. Мы узнали, что для решения большинства этих оставшихся запросов требуется помощь человека (например, можно ли мне взять утюг?), поэтому для ответа на эти вопросы не было смысла ни в использовании чата, ни в каких-либо сложных моделях.

Встраивание машинного обучения в ваш продукт требует времени и усилий. Вам нужны хорошие люди, хорошие данные и большое количество итераций для достижения достаточного качества — иногда это может занять год работы или даже больше. Вы готовы инвестировать в это или будет достаточно простой, более базовой эвристики?

Вот еще один пример: если мы разрабатываем почтовый клиент и хотели бы отловить случаи, когда пользователи могли забыть добавить вложение, мы могли бы просто выполнить поиск по ключевым словам «вложение» и «прикреплено». Система машинного обучения, вероятно, будет обнаруживать больше ошибок, но ее создание будет намного дороже.

На самом деле это отличный способ подумать о нулевом состоянии вашего продукта. Для сбора данных требуется время, но это не должно мешать вам запускать продукт. Взгляните на изображение Instagram 2010 года ниже. Во вкладке «Популярные» нет ML, это просто список картинок, отсортированных по общей популярности. Со временем эта функция эволюционировала и превратилась во вкладку Instagram Explore: с помощью ряда экспериментов инженеры превратили ее в персонализированный и захватывающий опыт.

Урок 3. Учет ошибок и предубеждений модели

Одна из ключевых обязанностей менеджера по продукту — провести мозговой штурм, как ваша модель может дать сбой, и как смягчить его на ранней стадии. Позже исправление смещения в модели может оказаться более сложным и дорогостоящим процессом.

Представьте, что вы хотите создать модель ранжирования для своего веб-сайта электронной коммерции. Ваш веб-сайт очень популярен, поэтому последние пару месяцев вы тренируете модель. Вы забываете, что ваш набор данных также включает декабрьские и рождественские праздники, которые искажают ваши данные из-за необычной активности и поведения пользователей. Смягчением в этом случае может быть использование более широкого временного диапазона для обучения модели.

В качестве другого примера представьте, что вы хотите построить модель, которая будет предсказывать хороших кандидатов в области технологий на основе их резюме. Вы обучаете свою модель на данных за 10 лет, и она показывает хорошие результаты, прежде чем вы поймете, что она имеет сильную гендерную предвзятость, отражающую доминирование мужчин в отрасли. Как вы могли решить эту проблему до обучения модели? Если бы у вас было достаточно данных для обоих полов, вероятно, вам поможет выборка. Если данных недостаточно, ключевое решение, которое вы можете применить, — просто не строить модель, поскольку ее прогнозы будут необъективными.

Если в первом примере эта ошибка просто привела бы к менее релевантным результатам и снижению коэффициента конверсии, то во втором случае она могла бы привести к неверным решениям. Вот почему важно хотя бы попытаться открыть «черный ящик» машинного обучения людям, чтобы они могли понять, что происходит, и отреагировать. Объяснение пользователям того, как работает продукт на основе машинного обучения, не только дает им больше уверенности в системе, но и позволяет им лучше понять, что является ожидаемым поведением, а что нет, что, в свою очередь, повысит качество нашего продукта.

Честно говоря, открыть черный ящик может быть так же сложно, как построить саму модель, но мир машинного обучения постепенно меняет это. Например, недавно исследователи из Массачусетского технологического института объявили о разработке интерактивного инструмента, позволяющего пользователям видеть и контролировать работу автоматизированных систем машинного обучения. Поэтому для менеджера по продукту важно помнить три вещи:

1. Если это возможно, дайте людям представление о том, что происходит.
2. Предоставьте людям возможность подать сигнал в ответ и изменить ситуацию.
3. Если последствия сбоя модели нельзя ни исправить (как в примере с наймом), ни смягчить, то, вероятно, вообще не стоит разрабатывать модель.

Урок 4: Найдите метрики счетчика

Другая сторона людей, понимающих, как работает модель, заключается в том, что они будут пытаться обмануть систему. Например, SEO — это способ «обыграть» поисковые алгоритмы и создать контент, который будет отображаться на первой позиции в поисковой выдаче.

Что мы можем с этим поделать? Вернемся на шаг назад. Когда мы впервые решаем создать продукт на основе машинного обучения, мы начинаем с определения проблемы: в случае поиска это, вероятно, будет «пользователи хотели бы иметь возможность быстро находить нужную информацию в Интернете». Поскольку машинное обучение требует от нас чего-то более конкретного и оперативного, мы пытаемся упростить это утверждение и понять, что могло бы быстро сказать нам, правильно мы его поняли или нет — например, если пользователь щелкнул результат поиска, он, вероятно, нашел это ценным. Мы начинаем оптимизировать рейтинг кликов, но вскоре видим, что пользователи начинают уходить. Почему это происходит? Некоторые люди узнали, что верный способ попасть в топ нашего поиска — создать кликбейтный заголовок и интригующее описание, чтобы пользователи нажимали на него, но не находили ничего подходящего. В нашей интерпретации люди нажимают больше — это хорошо, но на самом деле они просто не могут найти то, что ищут. Итак, нам нужно вернуться к определению проблемы и подумать, что определяет «релевантную информацию».