Эта статья основана на магистерской диссертации Машинное обучение в управлении делами на основе приложений (Rabben & Oftebro, 2022), в которой изучалось использование машинного обучения в процессах управления делами для автоматического обнаружения приложений, которые должны быть отклонены. . Обратитесь к тезису для получения более подробной информации о выходных данных модели и более подробного обсуждения.

Управление делом

В этой статье термин «управление делами» (норвежский: saksbehandling) подразумевает процесс оценки и принятия решений в отношении конкретного дела, такого как заявление. Управление делами — важная функция в нашем обществе, способствующая эффективному и справедливому распределению нашего богатства и товаров. Специалисты по работе с клиентами стремятся проводить высококачественные оценки, сокращая время реагирования, но высокая рабочая нагрузка часто затрудняет выполнение этих требований. Следствием длительного времени отклика может быть отсрочка или отмена важных проектов. Однако последствием того, что не будет потрачено достаточно времени на оценку дел, станет плохое обращение с заинтересованными сторонами, что в конечном итоге приведет к несправедливому распределению общественных благ.

Проблема не в том, что оперативников слишком мало или что оперативники недостаточно компетентны. Скорее, это то, как оперативники тратят время на рутинную работу, которая является следствием неоптимальных рабочих процессов и неэффективных информационных систем. В этой статье обсуждается один из классических воров времени в процессах управления делами, административная проверка, и предлагается, как этот шаг можно улучшить с помощью цифровых технологий, а точнее, машинного обучения.

Машинное обучение

Машинное обучение — это предмет создания ценности из ваших данных, когда программное обеспечение учится на прошлых событиях, а затем извлекает информацию, полезную для решения наших текущих проблем. Почти как человеческая интуиция, машины могут классифицировать и мгновенно принимать решения на основе шаблонов, которые они усвоили за свою (короткую) жизнь. Чтобы оценить потенциальную ценность такой системы, можно было бы спросить: если бы у нас был человек (или робот), сидящий за столом рядом с нами, которого мы могли бы спросить в любое время и мгновенно получить его мнение, было бы полезно нас? Как часто их мнение должно быть правильным, чтобы быть полезным, а не просто раздражать?

Этот вопрос лежит в основе нашей диссертации — мы хотим знать, можно ли и как использовать машинное обучение для решения некоторых болевых точек и проблем процессов управления делами. Цель состоит в том, чтобы избавить оперативников от их повседневного бремени, чтобы они могли уделять больше времени правильной оценке и принятию решений.

Типичный процесс управления делами

Типичный процесс управления делами на основе приложений включает два этапа оценки: первоначальный контроль, часто известный как «административная проверка», и оценку и принятие решения по результатам рассмотрения заявления. При административной проверке заявки оцениваются на основе того, удовлетворяют ли они ряду формальных требований, необходимых для того, чтобы сотрудник, ведущий дело, мог принять обоснованное решение о результатах. На этапе оценки, когда принимается основное решение, заявки обычно одобряются или отклоняются на основе тщательной оценки содержания заявки. Заявки, которые отклонены на административной проверке, не будут отправлены на этап оценки, поэтому административная проверка действует как фильтр; заявки, не соответствующие минимальным требованиям, академически оцениваться не будут.

Цель этого рабочего процесса состоит в том, чтобы сотрудники, ведущие дело, не тратили время на оценку заявлений, которые не соответствуют требованиям для оценки. Однако сама административная проверка занимает довольно много времени, поскольку следователям по-прежнему приходится проверять содержание каждого отдельного заявления. В идеале на этот шаг тратится как можно меньше времени, а на принятие академических решений уходит как можно больше. Региональные комитеты по этике медицинских исследований и исследований в области здравоохранения (REK) — это организация, которая привыкла тратить время на заявки, которые должны быть отклонены. То есть они тратят свое драгоценное время на то, чтобы отфильтровать заявки, которые им вообще не следовало получать. Поэтому, основываясь на данных процесса управления делами REK, мы попытались ответить на вопрос:

"Как можно использовать машинное обучение, чтобы предсказать, будут ли отклонены заявки, отправленные в REK?"

Цель состоит в том, чтобы понять ценность машинного обучения в процессах управления делами в целом. Если мы сможем достаточно хорошо прогнозировать отказы для приложений, отправленных в REK, мы также можем сделать вывод, что данные приложений из процессов управления делами на основе приложений в целом могут использоваться для улучшения процессов принятия решений. Кейс-менеджеры могут перестроить работу на начальном этапе процесса оценки, например, выполняя административные проверки только тех приложений, которые, по мнению модели, могут быть отклонены. Для особенно точных прогнозов можно также представить систему автоматического отклонения, потенциально устраняющую необходимость в ручных административных проверках. Чтобы ответить на вопрос диссертации, был реализован контролируемый метод машинного обучения для прогнозирования отклонений с поддержкой неконтролируемого метода категоризации текста.

Категоризация текста с помощью машинного обучения

Первый метод машинного обучения, который применяется к данным, называется Скрытое распределение Дирихле (LDA) — неконтролируемый метод категоризации текста по темам. Это то, что мы называем тематической моделью, и с помощью тематических моделей мы можем быстро изучить общее содержание большого количества документов или, в данном случае, приложений. В диссертации используется LDA для изучения словесных структур описаний проектов приложений, сопоставления того, какие слова часто встречаются вместе в одних и тех же описаниях проектов, а какие слова редко или никогда не встречаются вместе в одних и тех же описаниях проектов. LDA использует эту информацию для создания схем для тем, а схема может использоваться для назначения тем приложениям, по существу классифицируя их содержимое. В диссертации был реализован LDA с 40 темами, где число 40 было основано на методе оптимизации, а также на ручной проверке качества тем. Интересно, что темы имеют очень разные проценты отказов, как показано на рисунке 2.

При изучении контента, связанного с каждой темой, стало очевидным, что темы с низким уровнем отказа были связаны с медицинской терминологией в рамках конкретных предметных областей, а темы с высоким уровнем отказа в меньшей степени состояли из такой терминологии. Из-за очевидных взаимосвязей между темами и долей отказов кажется естественным включать темы из модели LDA при обучении модели машинного обучения для прогнозирования отказов. То есть мы можем использовать выходные данные одной модели машинного обучения в качестве входных данных для другой модели машинного обучения.

Прогнозирование отказов

Многочисленные методы машинного обучения могут использоваться для прогнозирования результатов решений, подобных тому, с которым мы имеем дело. В этом случае были реализованы четыре метода, и их результаты сравнивались: логистическая регрессия, наивный байесовский метод, случайный лес и экстремальное повышение градиента (XGBoost). Методы различаются по многим параметрам, таким как их предположения о данных, сложности и интерпретируемости. В конечном итоге XGBoost был признан лучшей моделью для этого конкретного случая из-за превосходных прогнозов и относительной простоты реализации, хотя конкретная методология относительно сложна.

Результаты XGBoost были многообещающими, с ROC AUC 0,928 (выше 0,8 обычно считается приличным). ROC AUC измеряет, насколько хорошо модель предсказывает результат при изменении строгости; порог вероятности модели. Изменение строгости модели — полезный инструмент для изменения выходных данных модели в соответствии с нашими потребностями.

Возьмем, к примеру, пример на рис. 3, на котором показана оценка модели вероятности отказа для ряда приложений. Каждая точка представляет заявку, а цвета точек соответствуют тому, будет ли заявка отклонена куратором при административной проверке. Наша цель — провести вертикальную линию через это пространство предикторов, разделив наши предсказания отклонения/не отклонения, которые будут нашим порогом для достижения нашей конкретной цели. Обратите внимание, что почти любая вертикальная линия на этом рисунке приведет как к отклоненным, так и к неотклоненным заявкам по обе стороны от линии.

Со строгой моделью у нас была бы высокая уверенность в том, что заявки, которые, по прогнозам, будут отклонены, сделаны так правильно, что называются истинно положительными. Недостатком строгой модели является возможность ложноотрицательных результатов: мы ошибочно предсказываем, что большее количество заявок не будут отклонены, хотя на самом деле они должны быть отклонены. С другой стороны, более низкий порог приведет к меньшему количеству заявок, помеченных как неотклоненные, и более высокая доля неотклоненных меток будет правильной, называемой истинно негативной. Это, в свою очередь, приводит к значительно большему количеству заявок, помеченных как отклоненные. Многие из них не будут отклонены при оценке оперативными работниками, и поэтому такой порог приведет к большему количеству ложных срабатываний.

Существует компромисс между этими четырьмя показателями (истинные и ложноположительные и истинные и ложноотрицательные). Более высокая точность прогнозирования отклонений приводит к большему количеству ложно предсказанных отклонений, а более высокая точность прогнозирования отказов приводит к большему количеству ложно предсказанных отказов. К счастью, мы можем контролировать порог предсказания и устанавливать его в соответствии с нашими потребностями. Если мы хотим иметь систему автоматического отклонения, нам нужна высокая уверенность в том, что мы не отклоняем многие заявки неправомерно. Рисунок 4 иллюстрирует пример этого; относительно высокий порог приводит к тому, что относительно небольшое количество заявок прогнозируется как отклонение, но мы можем быть уверены, что большая часть прогнозов отклонения верна.

Вместо этого установка более низкого порога может служить другой цели, одной из которых является «система пометки» для приложений, которые модель вызывает подозрения. Приложения могут быть отсортированы по разным папкам в соответствии с порогом, где одна папка состоит из приложений, которые, как мы уверены, не должны быть отклонены, а другая папка состоит из приложений, которые, по мнению модели, должны быть отклонены. Эта система пометок может позволить кураторам расставлять приоритеты, какие заявления следует рассматривать более внимательно. Приложениям, отмеченным как имеющие высокую вероятность отклонения, было бы естественно отдать приоритет при административной проверке. Остальным заявкам можно присвоить более низкий приоритет или они могут быть отправлены непосредственно на этап оценки. На рис. 5 это показано, когда приложения справа от порога будут помечены, и поэтому им следует отдавать приоритет при административной проверке. На рис. 6 показан улучшенный рабочий процесс, в котором непомеченные приложения отправляются непосредственно на этап оценки процесса оценки.

Кажется очевидным, что машинное обучение может быть полезным в процессах управления делами. Однако важно понимать и усвоить, что результаты никогда не будут идеальными. Подобно тому, как офицеры службы безопасности время от времени допускают ошибки, прогнозы моделей иногда бывают неверными. Поэтому нам необходимо убедиться, что все стороны имеют разумные ожидания, когда речь идет о системах поддержки принятия решений, подобных предлагаемым. Следствием системы автоматического отклонения является то, что не все приложения, которые должны быть отклонены, идентифицируются системой как таковые, и некоторые приложения, которые не должны быть отклонены, будут отклонены. То же самое относится и к системе маркировки: нет гарантии, а также маловероятно, что все приложения, которые должны быть отклонены, будут помечены моделью.

Это означает, что нам нужны механизмы для контроля и надзора за выводом модели, а оперативники должны знать и ожидать, что машина допускает ошибки, чтобы они могли обнаружить как можно больше таких случаев. Это также компромисс, который необходимо учитывать перед внедрением машинного обучения в рабочие процессы, оценивая баланс работы, от которой модель избавляет нас, и работы, которую она генерирует для нас при совершении ошибок. Система, которая не склоняет чашу весов в пользу экономии времени и качества, не должна внедряться.

На практике необходимо учитывать и другие аспекты. Например, какие данные этично использовать в качестве входных данных для модели и как мы можем избежать самоисполняющихся петель обратной связи и эхо-камер, которым мы рискуем, если у нас есть систематическая предвзятость в принятии решений. С другой стороны, мы можем с уверенностью сказать, что эксперименты с машинным обучением сами по себе имеют большую ценность, поскольку мы можем многое узнать о наших решениях из интерпретации наших данных программным обеспечением.