Введение

Чтобы создавать успешные решения для машинного обучения, необходимо понимать определенные фундаментальные идеи. В этом сообщении блога мы рассмотрим три ключевых ранних этапа процесса проектирования, на которых менеджеры могут сосредоточиться, чтобы гарантировать успешный результат проекта.

Этот пост предполагает, что читатель уже понимает различия в машинном обучении, такие как контролируемые и неконтролируемые модели, этапы обучения и тестирования, а также общий жизненный цикл машинного обучения. Возвращаясь к самому раннему этапу определения бизнес-проблемы, мы акцентируем внимание на трех ключевых задачах.

Три ключевые цели: формирование кадра, время и цель

Каждая из этих целей в той или иной степени представлена ​​в обучении науке о данных. Однако довольно часто им не уделяется должного внимания. Отчасти это связано с тем, что на первый взгляд они кажутся очевидными: сформулируйте проблему, решите, когда будут сделаны прогнозы, и определите целевую переменную, на которой модель будет учиться.

Это три основных рычага, которые заинтересованная сторона проекта может использовать, чтобы повлиять на вероятность успеха проекта. По этой причине важно глубже погрузиться в каждую из них, чтобы выявить некоторые тонкости, которые могут различать между получением модели, которая решает вашу бизнес-проблему, или нет.

Задача первая: сформулировать вашу проблему

В мире прикладного машинного обучения необходимо решить, как модель машинного обучения будет взаимодействовать с бизнесом. Это включает определение того, как прогноз, сделанный моделью, повлияет на решение или определит его. Будьте конкретны и продумайте точный механический способ использования результатов модели в бизнесе. Действует ли бизнес только тогда, когда модель дает определенные ценности? Или компания всегда предпринимает какие-то действия, но это действие изменяется в соответствии с выходными данными модели? Влияет ли конкретное реальное значение прогноза на действие? Или это просто определяет, будет ли команда действовать или нет?

Заманчиво думать, что эти отношения будут очень простыми или что существует только один вариант решения данной проблемы, однако обычно это не так. Давайте посмотрим на пример, который показывает, как можно создать альтернативное обрамление общей проблемы, которое может дать лучшие результаты.

Пример: переосмысление проблем прогнозирования

Многие организации сталкиваются с проблемами, связанными с прогнозированием объема товаров, которые будут заказаны или потребуются в определенный момент времени в будущем. Желание понять эти цифры часто связано с одним ключевым бизнес-решением. Это может определить: будет ли в наличии достаточный запас? Или, может быть: хватит ли складских площадей?

Что это означает при разработке проекта машинного обучения?

Иногда делается упор на модели, которая пытается предсказать точное количество виджетов, которые будут проданы или доставлены, тогда как на самом деле все, что нужно для поддержки конкретного бизнеса, - это модель, которая показывает, будет ли это число не превысит заданный порог. Во многих случаях построение последней модели будет проще и эффективнее.

Именно это подразумевается под фокусированием на постановке проблемы: продумыванием того, что именно необходимо знать для достижения результата, обеспечивающего решение целевой бизнес-проблемы.

Хорошее практическое правило состоит в том, что лучшего результата можно достичь, приблизив результат модели машинного обучения к конкретному решению, которое компания хочет принять. Причина, по которой это может помочь, заключается в том, что модель будет сосредоточена на том, что именно нужно знать бизнесу для принятия решения, а не пытаться моделировать каждую мельчайшую деталь.

Если вас интересуют другие примеры переосмысления задач прогнозирования, я рекомендую вам посмотреть отличный доклад Чарльза Проспера Использование обучения с подкреплением для решения бизнес-задач на веб-сайте AWS Summit Online.

Задача 2: время решения

Все модели машинного обучения должны выдавать результат, и физическая необходимость в том, чтобы этот результат производился в определенный момент времени. Может быть неважно, что это время, например, в четверг днем ​​в 15:00, но важно время относительно прогнозируемого события.

Например, существует большая разница между прогнозированием оттока клиентов за час до закрытия своей учетной записи и прогнозированием оттока за месяц до того, как это произойдет. Еще один важный фактор - действия, которые необходимо предпринять. Разные действия требуют разного времени для реализации и вступления в силу. Отправка SMS недовольному клиенту с немедленным предложением быстро реализуется и достигается результат. И наоборот, если требуется отправить персонал для посещения клиента для решения его проблемы, на это потребуется больше времени.

Это может показаться деталью реализации, которая отделена от задачи построения модели для прогнозирования оттока, но во многих случаях это не так. Почему? Модель зависит от данных, и данные становятся доступными только в ключевые моменты времени. Если модель оттока зависит от информации о клиенте, пользующемся услугами компании в ограниченном объеме, то, несмотря на ее точность, она может оказаться неспособной произвести прогноз на достаточно раннем этапе, чтобы можно было действовать.

По всем этим причинам важно тщательно продумать предполагаемые действия модели. Подумайте о количестве времени, необходимом для их выполнения, а затем убедитесь, что временной компонент проекта достаточен для того, чтобы эти действия вступили в силу. Четко свяжитесь с командой специалистов по анализу данных, чтобы убедиться, что они используют только те данные, которые будут доступны достаточно далеко до прогнозируемого события, чтобы можно было предпринять намеченные действия. Процедуры обучения и тестирования в области науки о данных должны отражать это время, чтобы любые показатели производительности, используемые для оценки модели, обеспечивали точное отражение того, как модель будет работать in situ.

Задача 3: определение надежной целевой переменной

В большинстве практических приложений машинного обучения необходимо определить исторический сигнал, который будет информировать строящиеся модели. В управляемом машинном обучении этот сигнал часто называют целевой переменной.

В некоторых случаях определение этой целевой переменной может быть простым, тогда как в других - обманчиво сложным. Чтобы проиллюстрировать общий источник трудностей, давайте еще раз рассмотрим пример.

Пример: определение целевой переменной, не поддерживающей статус-кво

Крупная сеть супермаркетов просит группу по анализу данных разработать приложение, которое будет давать рекомендации лояльным участникам относительно продуктов, которые нужно покупать. Первоначальным соблазном могло быть занесение этого проекта в список рекомендуемых продуктов. Это может быть член команды, имеющий непосредственный опыт в этой области, что означает, что команда может приступить к работе немедленно. Однако дальнейшие исследования могут выявить, что руководитель, продвигающий проект, на самом деле хочет, чтобы эти рекомендации продвигали цель поощрения здорового питания. Теперь проблема уходит от простого рекомендателя и превращается в проблему принятия решения о том, как определять продукты для лояльных участников, которые они могут купить и как вариант здорового питания.

В этом случае исторические модели покупок клиентов можно было бы использовать для определения сигнала для рекомендателя, но это не привело бы к правильному результату. Это просто побудило бы их продолжать покупать то, что они покупали ранее, или продукты, которые покупали люди с аналогичным профилем. Проще говоря, это укрепило бы статус-кво.

Самая сложная часть определения этой конкретной цели - это определить, как определить вариант здорового питания, который также потенциально может быть куплен. Есть ли необходимость вручную классифицировать некоторые корзины для покупок как здоровые и нездоровые? Можно ли извлечь эту информацию из описаний продуктов или ингредиентов? Стоит ли просматривать исторические корзины клиентов и классифицировать, какое содержимое является здоровым, учитывая рекомендации, исходя из их собственного прежнего здорового поведения?

Есть много способов решить эту проблему, но ключевой вывод состоит в том, что все исторические данные нельзя слепо использовать в качестве обучающей выборки, потому что результат, который бизнес стремится достичь, отличается от исторического поведения.

Хотя это тривиальный пример, он указывает на часто встречающуюся проблему: использование исторических данных не всегда приводит к результатам, к которым стремится бизнес. Лучшая практика. для управления проектами машинного обучения - это сеанс строгой проверки целевых переменных. На этом занятии все заинтересованные стороны могут сесть вместе и выяснить, приведут ли предложенная целевая переменная и данные, которые ее инкапсулируют, к модели, дающей желаемый результат.

Вывод

Вооружившись тремя основными целями: формулировка, сроки и цель, компании могут обеспечить соответствие своих проектов машинного обучения своим целям. Эти темы можно использовать в качестве основы при рассмотрении проектов и при их представлении остальной части бизнеса. Хотя они не гарантируют успеха, довольно часто определение этих целей означает, что даже простая модель принесет бизнес-результаты.