Переобучение связано с тем, что модель сложна, запоминает только обучающие данные с ограниченной обобщаемостью и не может правильно распознавать разные невидимые данные.

По мнению авторов, причины переобучения следующие:

  1. Шум обучающих выборок,
  2. Отсутствие обучающих выборок (неполная выборка обучающих данных),
  3. Предвзятые или непропорциональные обучающие выборки,
  4. Незначительная дисперсия ошибок оценки,
  5. Несколько паттернов с разными уровнями нелинейности, которые требуют разных моделей обучения,
  6. Предвзятые прогнозы с использованием различных наборов переменных,
  7. Остановка процедуры обучения до сходимости или попадания в локальный минимум,
  8. Различные дистрибутивы для обучающих и тестовых образцов.

Методы борьбы с переоснащением

  1. Пассивные схемы: методы, предназначенные для поиска подходящей конфигурации модели/сети, иногда называемые методами выбора модели или методами оптимизации гиперпараметров.
  2. Активные схемы: этот метод, также называемый методами регуляризации, вводит динамический шум во время обучения модели.
  3. Полуактивные схемы: в этой методологии сеть изменяется во время обучения. То же самое достигается либо обрезкой сети во время обучения, либо добавлением скрытых блоков во время обучения.

Подпишитесь, чтобы получать копию нашего информационного бюллетеня прямо на ваш почтовый ящик.

Vevesta:Коллективная вики-страница вашей команды по машинному обучению: определение и использование соответствующих проектов, функций и методов машинного обучения.

100 первых пользователей, вошедших в Вевесту, получат бесплатную подписку на 3 месяца

Рекомендации

  1. Систематический обзор контроля над переполнением в поверхностных и глубоких нейронных сетях
  2. Краткий обзор методов, используемых для обработки переобучения в мелкой и глубокой нейронных сетях

Первоначально опубликовано наhttps://www.vevesta.com/blog/25-Handling-overfitting-in-Shallow-and-Deep-Neural-Network 26 августа 2022 г.