Студенты с научными знаниями, должно быть, читали о калибровке в физике, когда мы познакомились с «нониусными штангенциркулями».
Хотя основной принцип остается прежним (проверка качества измерений/результатов), калибровка в машинном обучении использует разные методы и применяется к разным вариантам использования.
В этой истории мы узнаем о калибровке в машинном обучении, зачем нужна калибровка, как выполнять калибровку вместе с пониманием вероятностных моделей. Начнем
Что такое вероятностные модели?
В машинном обучении модели классификации — это прогностические модели, которые предсказывают метку класса. Однако некоторые модели классификации не предсказывают класс напрямую, а вместо этого предсказывают вероятность; например, логистическая регрессия. Такие модели классификации называются моделями вероятностной классификации.
Зачем калибровать?
Прежде чем понять, зачем нужна калибровка, давайте рассмотрим что означает калибровка в контексте машинного обучения.
Модель машинного обучения считается откалиброванной, если она выдает откалиброванные вероятности, когда прогноз класса с достоверностью «p» является правильным в 100*p процентах случаев.
Рассмотрим пример. Модель прогноза погоды предсказывает вероятность дождя с вероятностью 40%. Теперь из всех дней вероятность предсказания составляет 40%, сколько дней на самом деле шел дождь?? Если дождь шел более или менее 40% этих дней, то модель плохо откалибрована.
Теперь, когда мы понимаем, что такое калибровка, давайте углубимся в то, зачем нам нужна калибровка.
Рассмотрим сценарий, в котором модель машинного обучения предсказывает вероятность заболевания, а врачу, основываясь на достоверности прогноза, необходимо принять решение о дальнейшей диагностике. Если модель предсказывает результат с вероятностью 90% (достоверность), но оказывается верной только в 70% случаев, является ли эта уверенность надежной??
Ответ абсолютно нет!!
Давайте рассмотрим другой сценарий, в котором модель предсказывает, какое объявление имеет наибольшую вероятность кликов. В таком сценарии мы заботимся только об относительной вероятности рекламы и не слишком полагаемся на достоверность.
Следовательно, в ситуациях, когда прогнозируемую вероятность необходимо интерпретировать с точки зрения достоверности прогноза, необходима калибровка
«Калибровка часто недооценивается в машинном обучении. Откалибрована модель или нет, зависит от ее внутренних свойств. Логистическая регрессия, например, на самом деле не требует дополнительной калибровки после обучения из-за используемой функции потерь. Случайный лес, с другой стороны, редко возвращает значения, близкие к 0 или 1, из-за их подхода к пакетированию (усреднению) и требует калибровки.
В целом вероятностные модели лучше калибруются”
Теперь, когда мы понимаем важность калибровки наших моделей, давайте разберемся, как это сделать.
Как откалибровать?
Наиболее распространенным способом проверки калибровки модели является создание калибровочного графика.
Существует два основных метода калибровки предсказанных вероятностей.
- Платт Масштабирование
- Изотоническая регрессия
Давайте изучим две техники подробно
Платт Масштабирование
Он использует модель логистической регрессии, обученную на предсказанных вероятностях. Предполагается, что калибровочная кривая имеет S-образную форму. Подогнанная линия регрессии представляет собой прямое сопоставление предсказанных вероятностей с калиброванными.
Изотоническая регрессия
Он использует взвешенную модель регрессии наименьших квадратов. «Изотонический» просто относится к монотонно возрастающему отображению исходных вероятностей в масштабированные значения. Основное преимущество использования изотонической регрессии перед масштабированием Платта заключается в том, что не требуется предполагать, что кривая имеет S-образную форму. Однако изотоническая регрессия чувствительна к выбросам.
Библиотека scikit-learn обеспечивает доступ как к методам Platt Scaling, так и к методам изотонической регрессии через модуль CalibratedClassifierCV. Необходимо объявить аргумент method модуля: sigmoid для Platt и isotonic для isotonic. [Чтобы узнать больше, перейдите по ссылке]
Заключение
Теперь у нас есть понимание, что означает калибровка и зачем она нужна. Кроме того, мы познакомились с двумя основными методами калибровки в машинном обучении.
Помните, что калибровка влияет на точность (иногда в результате производительность может ухудшиться). Например, рассмотрите значения, очень близкие к границе решения, теперь калибровка может сдвинуть эти точки с любой стороны, что повлияет на производительность.
Цель калибровки — получить более разумный вероятностный результат, и я уверен, что вам понравилось изучать эту прекрасную концепцию.
Обязательно распространяйте ❤ и подписывайтесь на datahat, чтобы получать видео и концепции по науке о данных.
Спасибо!! Продолжайте учиться, расти и помогать другим энтузиастам науки о данных…..
