Модель управления рисками и управления рисками

Модели машинного обучения все чаще становятся частью критически важных бизнес-процессов и больше не используются в качестве новинки или способа присоединиться к ажиотажу в области науки о данных и искусственного интеллекта. Современное машинное обучение действительно оказывает влияние на процессы, которые, если они выполняются неправильно, влекут за собой неблагоприятные последствия для последующих процессов.

Эта статья представляет собой краткий обзор знаний, полученных в результате изучения и практики помощи клиентам в регулируемых средах (особое упоминание о финансовых услугах), которые имеют дело со сложными средствами контроля и аудитом аналитических моделей с помощью модели управления рисками (MRM). давайте назовем операцию MRM: Risk Ops.

Я надеюсь, что это будет полезно, если вы являетесь частью компании или используете модели машинного обучения в производстве и осознали необходимость систематического устранения модельных рисков в производстве, но не хотите ставить под угрозу ценность за счет ненужной бюрократии и документации, которые обычно возникают внедрение традиционных схем управления рисками.

TLDR. Многие рекомендации в финансовой отрасли рассматривают модельный риск как любой другой операционный риск. Уже существует множество основ управления операционным риском. В этой статье основное внимание уделяется масштабируемой работе платформ моделирования рисков с помощью метасистем поверх уровня ML Ops в качестве инструмента для контроля неблагоприятных последствий неправильного использования моделей в производственной среде. Это может быть полезно для других нерегулируемых отраслей, поскольку такие усилия слишком дороги для реализации.

Зачем управлять модельным риском?

Во время Великого финансового кризиса 2008 года банки потеряли миллиарды из-за использования ими простых моделей связки при оценке риска ипотечных портфелей. Кроме того, в 2012 году JP Morgan потерял более 6 миллиардов долларов из-за ошибки в кредитной модели, возникшей из-за отсутствия управления; этот инцидент является так называемым лондонским инцидентом с торговлей китами.

Еще одна предостерегающая история об использовании моделей для принятия инвестиционных решений связана с убытками в размере 500 миллионов долларов США +, понесенными реальной государственной компанией Zillow, когда чрезмерная уверенность в моделях машинного обучения, используемых для прогнозирования цен на недвижимость, привела к тому, что компания получила большой размер переоцененных активов, намного превышающих реальные цены. . Их модели не смогли отразить сложности, которые привели к снижению цен. Оглядываясь назад, можно сказать, что если бы в Zillow была установлена ​​модель модели риска, то такой крупный риск был бы намного меньше.

Недавние достижения в больших предварительно обученных языковых моделях (LLM) или базовых моделях, например, стиль GPT, позволили превзойти людей в нескольких тестах, таких как суммирование текста, машинный перевод, рассказывание историй, вопросы и ответы на общие знания, диалоговые чат-боты и т. д. Тем не менее, многие исследования выявили предвзятость и ограничения, присутствующие в результатах, и их применение в реальных условиях было ограничено не связанными с фактами условиями, в которых результаты не должны интерпретироваться как источник достоверности. Раннее применение этой технологии в отрасли показало, что для снижения риска неправильного использования и даже причинения репутационных, юридических и финансовых потерь требуются функции безопасности. Вот почему коммерческие службы LLM прямо заявляют, что не используют их для юридических, фактических, финансовых консультаций и в критически важных для безопасности средах.

Следовательно, всякий раз, когда модели используются в критической среде, где существуют неблагоприятные последствия, например, финансовые или человеческие потери, вероятно, существуют правила и управление для смягчения последствий. В таких условиях, как страхование или банковское дело, модели напрямую влияют на принятие решений и не используются в качестве вспомогательного средства. Более того, эти модели требуют более тщательной проверки из-за негативных последствий неправильного использования.

Традиционный MRM

"Целью аналитика должна быть разработка наиболее точной и надежной прогностической модели или наилучшей модели для оценки или проверки гипотез"

Франц. Э. Харрел-младший

Модели уже давно используются в критически важных для бизнеса приложениях в сфере финансовых инвестиций, например, для оценки активов и прогнозирования сигналов с использованием математических моделей и статистической калибровки таких моделей. Традиционно в отрасли доминировал логический анализ. Этот тип анализа был сосредоточен на получении свойств населения посредством проверки гипотез и получения оценок.

В настоящее время прогнозный анализ является доминирующим типом статистического анализа, проводимого предприятиями. В этом типе анализа основная цель состоит в том, чтобы использовать исторические данные для построения моделей, которые могут предсказать будущее поведение. В новом поколении методов статистического/машинного обучения используется большой объем разнообразных данных для повышения эффективности прогнозирования. Эта новая парадигма моделирования подчеркивает разнообразие, актуальность и качество данных, которых раньше не было.

Существует много шумихи вокруг машинного обучения, подмножества искусственного интеллекта. Но в этих алгоритмах нет ничего интеллектуального по своей сути, поскольку они требуют значительной предвзятости разработчиков моделей для адаптации алгоритмов общего назначения, таких как GLM, деревья решений, SVM, глубокое обучение и т. д., для получения приемлемых результатов в реальном мире. Если разработчику моделей нужны такие свойства, как обобщаемость, интерпретируемость, объяснимость, стабильность, надежность и т. д., то они создаются разработчиком моделей. Модели машинного обучения не выявляют бизнес-требований и спецификаций и не строятся в соответствии с этими спецификациями. По крайней мере, еще нет.

Таким образом, ответственность за построение хорошей модели для конкретного приложения зависит от способности разработчика модели понять проблему, поговорить с нужными людьми, выбрать правильные данные, применить правильную модель, создать правильный набор тестов и правильный выбор. использовать. Возлагать такое доверие на одну индивидуальную роль может быть рискованно; есть такие укусы, как человеческие ошибки и предубеждения, и такие риски проникают в результаты модели. Таким образом, в таких отраслях, как финансовая, есть отдельные роли для построения модели и ее проверки.

Мы могли бы проводить валидацию разными способами, но традиционные отрасли, такие как финансовые отрасли, делают это, применяя принцип «эффективной проверки» моделей.

"Руководящим принципом управления рисками модели является "эффективная проверка" моделей, то есть критический анализ объективными, информированными сторонами, которые могут определить ограничения и допущения модели и внести соответствующие изменения".

Письмо SR 11–7, Совет управляющих Федеральной резервной системы, Управление валютного контролера, опубликовано в 2011 г.

Тем не менее, это переносит большую часть риска на другую человеческую роль и затрудняет масштабирование. Этому руководству уже 12 лет, до появления систем больших данных и алгоритмов машинного обучения в масштабе. «Эффективный вызов» зависит от комбинации стимулов, компетентности и влияния. Это трудно масштабировать, когда количество изучаемых моделей увеличивается, поскольку стоимость парной проверки растет экспоненциально. Также при несоблюдении этих условий нарушается принцип эффективного вызова.

На практике валидаторы моделей часто становятся привратниками, и в конечном итоге процесс валидации становится жертвой закона Гудхарта.

"Когда показатель становится целью, он перестает быть хорошим показателем"

Чарльз Гудхарт, экономист.

Или более актуально при использовании в контексте моделирования рисков:

Модель риска не работает, когда используется в целях регулирования.

— Джон Дэниелссон

Наконец, традиционный MRM очень бюрократичен и ориентирован на тщательную документацию для уровня контроля и аудита. Итак, как можно интегрировать традиционный MRM в современные конвейеры машинного обучения или способствовать ответственной и гибкой разработке продуктов, основанных на данных?

Современный MRM — управление рисками

В наши дни традиционные системы MRM, используемые в финансовых учреждениях, должны быть обновлены, чтобы иметь дело с постоянно растущим количеством моделей, которые создаются и интегрируются в конвейеры принятия решений, а также с огромным объемом данных различного качества.

Современные технологии и гиперконтекстуализация продуктов и услуг изменили скорость, с которой необходимо принимать решения, чтобы оставаться конкурентоспособными. Давно прошли те времена, когда вы лично садились в комитет, чтобы утвердить решение. Решения, на которые уходили недели, теперь должны приниматься за минуты или даже секунды.

Регулируемые отрасли изо всех сил пытаются найти баланс между быстрым выходом на рынок и контролем за неблагоприятными последствиями. Это означает использование традиционного управления записями сообщений в среде, требующей скорости. Например, большинство банков слишком медленно реагировали на пандемию, и ее последствия уже ощущались, когда банки принимали меры в отношении своих клиентов.

Успешная структура управления рисками должна, как минимум, служить двум целям:

  1. Дайте моделистам возможность создавать высококачественные модели и
  2. Предоставьте средства для выявления, оценки, контроля и постоянного измерения риска отказа модели в работе в течение всего ее жизненного цикла.

Я считаю полезным объяснить Risk Ops следующим образом. Успешная операция Risk Ops похожа на амортизатор в внедорожнике. Это позволяет хорошо сглаживать ухабистую езду по грунтовой дороге. Проблема в том, что раньше компании ездили со скоростью 80 км/ч, а сегодня им нужно ехать со скоростью 180 км/ч. Итак, вы знаете, что динамика автомобиля в таких условиях отличается.

Таким образом, структура Risk Ops должна смягчить влияние неблагоприятных последствий в компании, когда решения должны приниматься быстро и рынок быстро меняется. Достижение этих целей должно поддерживать развитие и ограничивать возможность извлечения ценности из данных. Управление рисками должно быть экономичным и иметь такое же стремление быть настолько гибким, как того требует остальная часть бизнеса.

Так с чего же начать?

Вы начинаете с самого начала с метаданных. Обмен метаданными занимает центральное место в распределенных вычислениях на обычном оборудовании и в обширных системах данных.

Метаданные, т. е. данные данных, позволяют строить системы поверх систем (метасистем) путем обмена меньшими объемами (меньше, чем базовые данные, которые они описывают) специфичной для предметной области информации об этих системах и оставляя базовую систему нетронутой как есть.

Современная система машинного обучения работает с тремя операционными доменами:

  1. Data Ops: занимается непрерывной защитой данных, безопасностью, этикой, качеством, сбором и хранилищем функций.
  2. ML Ops: занимается исследованием данных, обучением моделей, оптимизацией, развертыванием и мониторингом производительности.
  3. Управление рисками: занимается оповещением, контролем, вмешательством и аудитом.

Эти операционные домены строятся друг над другом, с разными заинтересованными сторонами на каждом уровне.

Нам не нужно создавать тесно связанную систему Risk Ops с метаданными. Вместо этого, обмениваясь метаданными данных, метаданными машинного обучения и метаданными рисков с централизованным хранилищем метаданных, проще создавать надежные и экономичные системы для оповещения, контроля и аудита моделей машинного обучения в производственной среде.

Заключение

Интеграция систем Risk Ops с ML Ops и Data Ops посредством обмена метаданными делает задачу управления рисками (репутационными, финансовыми, операционными и т. д.) более доступной и совместимой с уже существующими решениями ML Ops. Нерегулируемым отраслям также выгодно улучшать свои существующие системы ML Ops, создавая слой, который позволяет лучше контролировать риск неправомерного использования их алгоритмических активов и помогает использовать ответственные и этичные системы.

В Crunchlab.[ai] у нас есть опыт создания надежных интеллектуальных систем, которые могут работать в регулируемых средах, например, в сфере финансовых услуг, чтобы помочь в принятии решений в масштабе. Наш опыт охватывает весь жизненный цикл продукта данных, начиная с данных, моделирования и моделирования рисков.

Если вы хотите узнать больше о разработке и создании высокоточных моделей машинного обучения или о том, как интегрировать операции с данными, операции с машинным обучением и операции с рисками в свой бизнес, напишите нам по адресу info[@]crunchlab.[ai]

Написано Эдуардо Пересом Денадаи, главным операционным директором Crunchlab.ai