Как изменить способ создания продуктов машинного обучения

В своей книге The Lean Startup Эрик Райс описывает свой подход к построению успешного стартапа с помощью цикла Build Measure Learning, показанного на рис. 1. Хотя у меня нет стартапа, я смог применять многие идеи Райса в своей жизни как Data Scientist.

В этой серии я буду описывать, как улучшать продукты машинного обучения, применяя подход Lean Startup. В первой части я расскажу о методе бережливого стартапа, о четырех ключевых областях инновационного наилучшего решения и о том, как определить, нужен ли ваш продукт машинного обучения.

Введение в метод бережливого стартапа

Слишком часто я видел, как специалисты по обработке и анализу данных месяцами разрозненно создавали модели машинного обучения с невероятно высокой точностью. Они очень гордятся своей работой, но, представляя свои результаты, часто обнаруживают, что бизнес-клиенты на самом деле не понимают или не заботятся о моделях, на которые они потратили месяцы. Прежде чем углубиться в построение модели машинного обучения, я рекомендую специалистам по данным следовать циклу Build Measure Learning и сначала определить, что они хотят узнать из своей модели.

Один из самых важных моментов, описанных Райсом в книге, — это разница между исполнением и планированием. При создании продукта может возникнуть соблазн сначала создать продукт, затем измерить его успех и, наконец, проанализировать, что вы узнали после того, как продукт попадает на рынок. Однако Рис утверждает, что шаги для создания успешного продукта должны быть обратными.

Сначала вы должны определить, что вы хотите изучить. В конечном итоге вы пытаетесь узнать, какой продукт является идеальным для клиента и какую проблему вы пытаетесь решить. Как только вы поймете, что вы пытаетесь изучить, ваш следующий шаг – выяснить, как правильно измерять вещи, чтобы вы могли зафиксировать то, что хотели узнать. Только после того, как вы узнаете, что измерять, вы сможете спланировать, как вы будете строить это. На протяжении всей моей карьеры я видел, как команды сразу же начинали строить, но ждали, чтобы получить метрики, пока продукт не был полностью создан и выпущен. Они обнаружили, что то, как они создали продукт, не позволяло им собирать данные, которые нам понадобятся, чтобы зафиксировать то, что мы хотим узнать.

Таким образом, важно убедиться, что вы создаете свой продукт таким образом, чтобы он действительно мог собирать данные, необходимые для построения ваших метрик, а не какие-то последние, собранные вместе «тщеславные» метрики.

Лучшее место для инноваций

Чтобы применить Lean Startup к машинному обучению, вы должны начать с планирования проверки концепции (POC). Вы уже знаете, что пытаетесь учиться, но чему вы пытаетесь научиться? Чтобы ответить на этот вопрос, вы можете сослаться на «золотую середину инноваций» (ISS), популярную концепцию управления продуктом, показанную на рис. 3.

Традиционно ISS состоит из трех ключевых областей: Желаемый, Выполнимый и Жизнеспособный. Хорошая идея продукта — это та идея, которая желательна, осуществима и жизнеспособна. Я обнаружил, что в ISS отсутствует одна ключевая область — этика. Хороший продукт, особенно с машинным обучением, также должен быть этичным. Слишком часто этика упускается из виду в сообществе машинного обучения, поэтому я добавил этический к ISS, изображенному на рис. 3.

Но как применить ISS к продукту машинного обучения? Давайте рассмотрим каждую область МКС.

Инновационное «золотое пятно» — желательно

Начав с желаемого, вы должны убедиться, что ваши пользователи заинтересованы в вашем продукте. Например, хочет ли пользователь Netflix, чтобы платформа рекомендовала ему телешоу и фильмы, или ему действительно нравится искать контент самостоятельно? Вероятно, не стоит тратить время на создание чего-то, что не нужно вашему клиенту. Вы не должны писать ни строчки кода, пока не создадите ощущение желанности.

Лучшее место для инноваций — выполнимо

Техническая осуществимость часто является тем, на чем люди больше всего сосредотачиваются во время POC. Может ли моя модель машинного обучения достичь точности 90 %? Достаточно ли высокого качества данных для обучения моей модели? В этой области мы хотим определить, технически возможно ли решить нашу проблему с помощью машинного обучения. В то время как многие специалисты по данным оценивают техническую осуществимость с помощью таких показателей, как точность, воспроизводимость и полнота, я расскажу о важности оценки других показателей, таких как риск неправильного прогноза, во второй части. Если вы выберете неправильные показатели для определения осуществимости, вы сами окажетесь в болезненной ситуации.

Инновационное «золотое пятно» — жизнеспособно

Для многих специалистов по данным определение жизнеспособности — это то, что часто остается на усмотрение менеджера по продукту, который сказал бы, что жизнеспособный продукт — это продукт, который производит больше ценности, чем затраты на его создание и поддержку. Тем не менее, специалисты по данным играют большую роль в том, насколько дорого обходится обслуживание решения из-за принимаемых ими решений. Например, модель глубокого обучения, обученная с помощью графических процессоров, вероятно, будет дороже в обслуживании, чем простая модель логистической регрессии. Если вы не будете осторожны, вы можете легко получить нежизнеспособный продукт.

Золотая середина инноваций — этика

Наконец, мы коснулись самого важного из них — этика данных — это серьезная проблема. К счастью, в последние годы многие люди пролили свет на эту область. Кроме того, во многих учреждениях теперь есть курсы по этике данных в машинном обучении. Хотя я постараюсь отдать должное этой теме в части 3 (скоро!), я действительно не могу не подчеркнуть, насколько важно установить политику этики данных и создать консультативный совет по машинному обучению в вашей организации.

Многие люди думают, что POC потерпел неудачу, если продукт не реализован. Однако POC — это эксперимент, а цель эксперимента — обучение. Когда вы начинаете, вы не знаете, будет ли ваш продукт работать. Если вы обнаружите, что это не работает, вы только что узнали идею продукта, на реализацию которой не стоит тратить дополнительные ресурсы. Поздравляю, вы добились успеха. Серьезно! Просто убедитесь, что вы настроили себя на то, чтобы научиться правильным вещам. В конечном счете, если мы не усвоили некоторые знания по каждой области ISS — желаемой, выполнимой, жизнеспособной и этичной — наш POC потерпел неудачу.

Углубленный анализ желательности

В беседах с коллегами-аналитиками данных меня часто спрашивали: «Когда вы начинаете узнавать, нужен ли вашему клиенту ваш продукт машинного обучения?». Я всегда рекомендую, чтобы это было первым, что вы делаете при взаимодействии со своими клиентами.

В школе меня не учили определять, является ли продукт машинного обучения желательным (подробнее об этом можно прочитать в этой статье), но за эти годы я перенял несколько методов у своих коллег из других отделов. Если у вас есть стратегии для оценки привлекательности, поделитесь ими в комментариях для всех нас!

Менеджер по продукту однажды сказал мне, что, когда вы оцениваете потенциальные продукты для создания, вы должны определить, является ли продукт витамином или болеутоляющим средством. Витамины отлично помогают нашему телу функционировать должным образом, но часто они не являются необходимыми при правильном питании и физических упражнениях. Напротив, если вы когда-либо подвергались серьезной травме или операции, вы, вероятно, обнаружили, что обезболивающие необходимы во время вашего выздоровления.

Я видел много клиентов, страдающих от боли, осознавали они это или нет. Многие люди не воспринимают процессы, которые можно было бы улучшить, потому что «мы так делаем». Если вы представите свое видение того, «какой могла бы быть жизнь», вы сразу поймете, нашли ли вы обезболивающее.

Итак, на что похоже представление о том, «какой могла бы быть жизнь»? Ну, по моему опыту, это может принимать разные формы. Самая простая форма – это презентация для ваших клиентов. После презентации я предоставлю опрос, где смогу собрать метрики. И да! Вы только что испытали бережливый стартап. Я решаю, чему я пытаюсь научиться — желательно ли это? Затем я решаю, какие показатели я могу построить, чтобы изучить это. И, наконец, я создаю презентацию (продукт) со встроенным в нее опросом, чтобы я мог зафиксировать показатели.

Но является ли презентация единственным способом определить желательность? Нет — мы можем взять данные из других областей, таких как пользовательский опыт (UX), создав мокап или вайрфрейм. Этот макет является визуальным и, в идеале, интерактивным представлением того, каким продукт мог бы быть. UX-дизайнеры обычно используют для этого такие инструменты, как Balsamiq и Axure, но я видел, как разработчики программного обеспечения используют такие инструменты, как Microsoft Visio, Excel, PowerPoint и Keynote. На самом деле, если установить нужные пакеты, Keynote позволяет имитировать реальный веб-сайт или мобильное устройство.

Все эти инструменты имеют разный уровень сложности, но суть в том, что вы можете за полдня собрать приличный макет, чтобы выяснить, как ваш клиент относится к идее вашего продукта.

Вы можете задаться вопросом: «Как, черт возьми, вы создаете макет для машинного обучения?». Самое смешное, что ваш макет обычно даже не требует машинного обучения! В своем макете вы можете начать с создания очень простой и быстрой модели, основанной на правилах. Ваш клиент, скорее всего, не ожидает, что вы полностью решите проблему к первой встрече, и построение быстрой модели, основанной на правилах, даст ему представление о том, «какой могла бы быть жизнь».

Я даже создал макеты с машинным обучением для классификации документов с использованием словаря из нескольких ключевых слов — машинное обучение не требуется! Когда клиент мог перетаскивать свои файлы в одну папку, а документы волшебным образом перемещались в соответствующую папку, они сразу же продавались при финансировании продукта. Неважно, что если бы они попытались охватить все крайние случаи, это бы с треском провалилось! Дело в том, что они легко смогли получить видение, и я смог легко сказать, было ли это болеутоляющим или витамином.

Более сложная версия макета может включать создание веб-сайта для вашего продукта и рекламу в Интернете через Google, Facebook или какой-либо другой сайт с высокой посещаемостью. После создания веб-сайта и рекламы вы можете выбрать один из двух подходов для определения желательности.

Один из подходов заключается в сборе контактной информации отдельных лиц, обычно в виде адреса электронной почты. Это может отразить общий интерес человека к вашему продукту, но это не говорит вам, достаточно ли он хочет продукт, чтобы заплатить за него. Очень важно определить, будут ли потребители тратить свои с трудом заработанные деньги на ваш продукт.

Второй подход к определению желательности заключается в том, чтобы позволить людям предварительно заказать ваш продукт. Когда клиент попадает на ваш веб-сайт, вы можете разрешить ему сделать предварительный заказ и полностью оплатить товар заранее или разрешить ему внести небольшой депозит при предварительном заказе. Однако, если депозит слишком мал, некоторые люди могут отменить заказ до того, как продукт будет готов. В конечном счете, наличие большого списка предварительных заказов может вызвать интерес у инвесторов.

Заключение

При создании продукта машинного обучения невероятно важно сначала определить, является ли ваш продукт желательным. Вы должны попытаться измерить желательность таким образом, чтобы получить четкий и сильный сигнал, но ваш пробег будет варьироваться в зависимости от вашего клиента и места его проживания. Например, если вы создаете продукт машинного обучения, который является внутренним для вашей компании, вы, вероятно, не сможете измерить желательность, создав веб-сайт, который просит сотрудников внести депозит.

И не забывайте — вы начинаете с эксперимента. Вы не ищете высококачественный продукт сразу. Постарайтесь зафиксировать полученные знания как можно быстрее. Просто не забудьте сначала определить, что вы хотите узнать, затем решить, как это измерить, и, наконец, решить, что вам нужно создать, чтобы зафиксировать эти показатели.

Рекомендации

  1. Эрик Рис, The Lean Startup (2011), http://theleanstartup.com/book