• Регуляризация — это подход к решению проблемы переобучения модели.
  • Переобученная модель не может обобщить оценки на тестовых данных.
  • Когда базовая модель, которую нужно изучить, имеет низкое смещение / высокую дисперсию или когда у нас небольшой объем данных, оценочная модель склонна к переобучению.
  • Регуляризация уменьшает дисперсию модели.

Что такое переоснащение в машинном обучении?

Переобучение — это концепция в науке о данных, которая возникает, когда статистическая модель точно соответствует своим обучающим данным. Когда это происходит, алгоритм, к сожалению, не может точно работать с невидимыми данными, что противоречит его цели. Обобщение модели на новые данные — это, в конечном счете, то, что позволяет нам ежедневно использовать алгоритмы машинного обучения для прогнозирования и классификации данных.

Когда создаются алгоритмы машинного обучения, они используют образец набора данных для обучения модели. Однако, когда модель слишком долго обучается на выборочных данных или когда модель слишком сложна, она может начать изучать «шум» или нерелевантную информацию в наборе данных. Когда модель запоминает шум и слишком близко подходит к тренировочному набору, модель становится «переобученной» и не может хорошо обобщать новые данные. Если модель не может хорошо обобщать новые данные, она не сможет выполнять задачи классификации или прогнозирования, для которых она предназначена.

Низкий уровень ошибок и высокая дисперсия являются хорошими индикаторами переобучения. Чтобы предотвратить такое поведение, часть обучающего набора данных обычно выделяется как «тестовый набор» для проверки переобучения. Если обучающие данные имеют низкую частоту ошибок, а тестовые данные имеют высокую частоту ошибок, это сигнализирует о переобучении.

Типы регуляризации

1. Измените функцию потерь

Регуляризация L2 (регуляризация Ridge)

Это предотвращает слишком большие веса (определяется нормой L2). Чем больше вес, тем сложнее модель, больше шансов переобучения.

L1 Регуляризация (Лассо Регуляризация)

Это предотвращает слишком большие веса (определяется нормой L1). Чем больше вес, тем сложнее модель, больше шансов переобучения. Регуляризация L1 вводит разреженность весов. Это заставляет больше весов быть равными нулю, чем уменьшение средней величины всех весов.

Энтропия

Он используется для моделей, которые выводят вероятность. Принуждает распределение вероятностей к равномерному распределению.

2. Изменить выборку данных

Увеличение данных

Создайте больше данных из доступных данных, произвольно обрезая, расширяя, вращая, добавляя небольшое количество шума и т. д.

K-кратная перекрестная проверка

Разделите данные на k групп. Тренируйтесь на (k-1) группах и тестируйте на 1 группе. Попробуйте все k возможных комбинаций.

3. Измените подход к тренировкам

Введение шума

Добавьте случайный шум к весам, когда они изучаются. Это заставляет модель быть относительно нечувствительной к небольшим изменениям весов, следовательно, к регуляризации.

Выбывать

Этот метод обычно используется для нейронных сетей. Соединения между последовательными слоями случайным образом удаляются на основе коэффициента отсева, а оставшаяся сеть обучается в текущей итерации. На следующей итерации отбрасывается еще один набор случайных соединений.

Спасибо за чтение!

Пожалуйста, оставляйте комментарии, если у вас есть какие-либо предложения или вы хотели бы добавить точку/и, или если вы заметили какую-либо ошибку/опечатку!

P.S. Если вы нашли эту статью полезной, хлопайте! 👏👏👏 [чувствует себя полезным и мотивирует продолжать писать].