Краткое обновление основных концепций компромисса смещения и дисперсии для построения модели.
Приведенное выше изображение, показывающее 4 сценария сочетания смещения и дисперсии, очень распространено при попытке объяснить компромисс между смещением и дисперсией.
Но что такое предвзятость и дисперсия?
Цель хорошей модели состоит в том, чтобы иметь низкое смещение и низкую дисперсию. Если мы можем знать, от какого сценария страдает наша модель, мы можем применить соответствующее решение, чтобы достичь квадранта с низким смещением и низкой дисперсией.
Объяснение этих концепций часто очень техническое, но здесь мы будем придерживаться только интуиции.
Смещениеколичественно определяет разрыв между средним соответствием модели между целевой переменной и переменными-предикторами и истинным отношением между целевой переменной и переменными-предикторами.
Вот почему отсутствие важных функций в модели или рассмотрение функционально простой модели часто приводит к модели с высоким смещением, поскольку среднее соответствие модели в конечном итоге отличается от истинного отношения. Это также называется недостаточной подгонкой.
Средняя подгонка модели — если бы мы взяли большое количество обучающих выборок (пусть это число будет обозначено как S) из совокупности всех наблюдений и получили модель, подходящую для каждой обучающей выборки, у нас была бы модель S fits и S подобранных значений для каждого наблюдения в популяции. Среднее значение подобранных значений S известно как среднее соответствие модели.
Дисперсияколичественно определяетразброс модели соответствует среднему значению соответствия модели. Следовательно, если соответствие модели сильно отличается от среднего модель подходит для обучающих выборок, это указывает на то, что у нас есть модель с высокой дисперсией.
Сложные модели, особенно с небольшими выборками, часто приводят к моделям с высокой дисперсией. Это также известно как Переобучение.
Симптомы и устранение
При построении модели машинного обучения мы не сможем вычислить значения смещения и дисперсии, чтобы определить, в какой квадрант мы попадаем. Мы можем обнаружить это, только проанализировав обучение нашей модели и ошибки тестирования.
Давайте попробуем понять следующее для каждого из 4 сценариев при построении модели машинного обучения:
1. Каковы признаки обнаружения каждого сценария?
2. Что их вызывает и каково решение?
Симптом
Причина и устранение
Маршруты принятия решений о компромиссе смещения и дисперсии
Между первой моделью, которую мы строим, и окончательной моделью мы проходим разные пути принятия решений, пока не найдем правильный баланс между предвзятостью и дисперсией.
Вот различные пути компромисса смещения и дисперсии для перехода от Низкое смещение – Высокая дисперсия к Низкому смещению – Низкая дисперсия:
Ниже приведены различные пути компромисса между смещением и дисперсией для перехода от высокого смещения — высокой дисперсии к низкому смещению — низкой дисперсии:
Вот различные пути компромисса смещения и дисперсии для перехода от высокое смещение — низкая дисперсия к низкому смещению — низкая дисперсия:
Это все для Части-1. В следующей части этой статьи мы исследуем взаимосвязь между ошибкой обучения, ошибкой теста и сложностью модели, размером обучающей выборки.
