Это вторая часть серии из трех сообщений - если вы еще не сделали, вот ссылка для чтения части 1.
Беглый взгляд на 8 шагов к созданию продукта ИИ:
- Определите проблему
Нет альтернативы старым добрым исследованиям пользователей. - Получите правильный набор данных
Машинному обучению нужны данные - очень много! - Сначала подделайте
Создание модели машинного обучения - дорогое удовольствие. Постарайтесь получить сигналы успеха на ранней стадии. - Взвесьте цену ошибочного прогноза
Последствия неверного прогноза могут варьироваться от легкого раздражения пользователя до безвозвратной потери клиента. - Создайте систему безопасности
Подумайте о предотвращении катастроф - что произойдет, если машинное обучение даст неверный прогноз? - Создайте цикл обратной связи
. Это помогает оценить степень удовлетворенности клиентов и позволяет собрать данные для улучшения вашей модели машинного обучения. - Монитор
на предмет ошибок, технических сбоев и точности прогнозов. - Проявите творческий подход!
Машинное обучение - это творческий процесс, и менеджеры по продукту могут повысить ценность
В этой статье рассматриваются шаги с 4 по 6. Перейдем к делу!
4. Взвесьте цену ошибки.
Машинное обучение не безошибочно, и разработка без ограничений может иметь серьезные последствия. Рассмотрим, например, этого вредоносного твиттер-бота:
Или этот ИИ Google Фото пошел не так, как надо.
Конечно, нельзя сделать вывод, что весь ИИ сойдет с ума. В то же время мы должны признать, что ошибки с ИИ обходятся дорого. Возьмем, к примеру, службу управления заказами, которая автоматически определяет, хочет ли клиент отменить свой заказ. Цена здесь заключается в том, что модель может ошибочно интерпретировать намерение пользователя как отмену, что может иметь финансовые последствия для пользователя и компании.
Машинное обучение в значительной степени зависит от вероятностей. Это означает, что существует вероятность того, что модель выдаст неверный результат. Менеджеры по продукту несут ответственность за предвидение и распознавание последствий неверного прогноза. Отличный способ предвидеть последствия, подобные приведенным выше, - это протестировать, проверить и еще раз проверить. Постарайтесь охватить все сценарии, с которыми может столкнуться ИИ. Поймите, что составляет вероятности, вычисленные моделью. Подумайте о желаемой точности модели (имейте в виду, чем точнее ваша модель, тем меньше случаев она может охватить - подробнее об этом в части 3). Поговорите со своими специалистами по данным о том, что потенциально может пойти не так. Задайте сложные вопросы - задача специалиста по данным - построить достаточно точную модель, а задача менеджера по продукту - понять последствия такой модели.
В общем, цена ошибки зависит от варианта использования. Если вы создаете систему рекомендаций, чтобы предлагать аналогичные продукты там, где раньше у вас ничего не было, худшим результатом может быть низкая конверсия по рекомендациям, которые вы предлагаете. Затем нужно подумать о том, как улучшить модель, но последствия неправильной работы не будут катастрофическими.
Если ИИ автоматизирует ручные потоки, хорошая оценка стоимости - это то, сколько раз ИИ ошибается по сравнению с людьми. Если, например, человек прав в том, что электронное письмо является спамом в 99% случаев, детектор спама с искусственным интеллектом стоит вложенных средств с точностью 99,1%.
Важно понимать эти последствия, чтобы смягчить их и лучше обучить модель для будущих сценариев.
5. Создавайте сети безопасности.
Как только все последствия ошибочного прогноза определены, необходимо создать соответствующие системы безопасности, чтобы смягчить их. Сети безопасности могут быть внутренними и внешними.
Системы искробезопасности
Они признают невозможность, которая является фундаментальной для природы продукта. Например, пользователь не может отменить заказ, если он изначально не был сделан. Таким образом, полученное вами электронное письмо определенно не говорит об отмене заказа, и модель была классифицирована неправильно. Было бы неплохо, чтобы это дело расследовал агент-человек. Полезное занятие - составить карту пути пользователя к вашему продукту и определить состояния, через которые пользователь может пройти. Это помогает отсеять невозможные предсказания. Системы искробезопасности невидимы для пользователя.
Внешние защитные сети
Внешние сети безопасности видны пользователю. Они могут принимать форму подтверждения намерений пользователя или двойной проверки потенциального результата. В LinkedIn, например, есть модель, позволяющая определять цель сообщения и предлагать ответы своим пользователям. Однако он не принимает ответ и не отправляет его автоматически. Вместо этого он просит пользователя выбрать из списка возможных ответов.
Внешние сети безопасности для пользователей - не новая концепция. Подумайте о каждом случае, когда ваша Windows 95 открывала это диалоговое окно:
Эта система не использует ИИ, но учитывает, что ошибочные действия могут иметь последствия. Сети безопасности присутствуют во всех продуктах, и ИИ не исключение.
6. Создайте цикл обратной связи
Установка сетей безопасности также помогает собрать столь необходимую обратную связь для модели.
Циклы обратной связи помогают измерить влияние модели и могут добавить к общему пониманию удобства использования. В контексте системы ИИ отзывы также важны для того, чтобы модель училась и становилась лучше. Обратная связь - важный механизм сбора данных - они дают помеченные наборы данных, которые можно напрямую подключить к механизму обучения.
Для модуля рекомендаций Amazon цикл обратной связи довольно прост: нажимает ли гость на рекомендации и покупается ли эта рекомендация?
AirBnB использует более прямой подход к сбору отзывов.
Netflix использует гибрид. Он может понять, на основе того, сколько рекомендаций вы нажимаете и просматриваете, а также использует механизм «палец вверх» для явного протоколирования предпочтений.
Следует отметить, что сети социальной защиты часто могут выступать в качестве каналов обратной связи для уточнения модели. Сети безопасности по своей природе выходят за рамки предсказаний модели. По возможности их следует использовать для маркировки данных и создания более надежного набора обучающих данных.
Я делаю ИИ пугающим, но ответственное развитие, в то время как понимание последствий важно для любого продукта, независимо от того, задействован ли ИИ или нет.
Повторяю, вот ссылка на первый пост из этой серии. Обязательно дайте мне знать, было ли это полезно!
