Публикации по теме 'regularization'


Методы регуляризации: вкратце
При обучении нейронных сетей важна не столько производительность на обучающем наборе, сколько то, что сеть способна применять знания, полученные во время обучения, к новым данным. Этот навык известен как обобщение, и существуют методы улучшения этой способности. В целом эти техники называются регуляризацией и именно о них мы и поговорим в этом посте. Что такое регуляризация? Какова его цель? Регуляризация — это метод ограничения эффектов переобучения. Переобучение — это..
Штрафные регрессии с JMP
В этом небольшом исследовании для прогнозирования цены серебра используется штрафная регрессия на основе ряда финансовых показателей. Штрафная логистическая регрессия или регуляризация - это тип логистической модели, которая штрафует или снижает влияние определенных переменных. Методы регуляризации используются, когда набор данных содержит значительное количество переменных без небольшого указания того, какие из них, в частности, будут использоваться в регрессионной модели. Чтобы..
Краткое введение в отсев в нейронных сетях
Выпадение означает игнорирование единиц во время фазы обучения определенного набора нейронов, которые выбираются случайным образом. Эти блоки не учитываются во время конкретного прохода вперед или назад. С технической точки зрения, на каждом этапе обучения отдельные узлы либо исключаются из сети с вероятностью (1-p), либо сохраняются с вероятностью «p», так что остается уменьшенная сеть; входящие и исходящие ребра к выпадающему узлу также удаляются. Нам нужен Dropout, чтобы..
Регуляризация в глубоком обучении
При обучении нейронной сети мы должны принять множество решений, как показано на рисунке ниже. Смещение и отклонение Посмотрев на ошибку алгоритма на обучающем наборе (который мы называем смещением) и на наборе разработчика (который мы называем дисперсией), мы можем попробовать разные вещи, чтобы улучшить алгоритм. Как справиться с высоким предвзятым отношением? Более крупная сеть, т.е. больше скрытых слоев или больше скрытых единиц. Тренируйся дольше. Попробуйте более..
Объяснение эффектов регуляризации L1 и L2
Лучшая визуализация регуляризации L1 и L2 Интуитивное объяснение того, почему регуляризация L1 уменьшает веса до 0. Регуляризация - популярный метод предотвращения переобучения моделей. Идея проста: я хочу, чтобы веса моей модели были небольшими, поэтому я добавлю штраф за большие веса. Двумя наиболее распространенными методами регуляризации являются регуляризация Лассо (или L1) и регуляризация Риджа (или L2). Они наказывают модель либо ее абсолютным весом (L1), либо квадратом ее..
Понимание разницы между методами регуляризации Ridge, Lasso и ElasticNet в Python
Сегодня мы поговорим о том, как упорядочить линейную регрессию, то есть сделать нашу модель более обобщенной для переобучения во время обучения. Линейная регрессия - простой, но мощный метод, так как после обучения она дает нам быстрое время прогнозирования, что является одной из наиболее важных функций, которые следует учитывать при разработке модели машинного обучения, потому что в реальном мире есть клиенты, ожидающие прогнозов, и они дольше ждут, качество обслуживания клиентов..
Снижение веса == Регуляризация L2?
Нейронные сети - отличные аппроксиматоры функций и экстракторы функций, но иногда их веса становятся слишком специализированными и вызывают переобучение. Именно здесь появляется концепция регуляризации, которую мы обсудим вместе с небольшими различиями между двумя основными методами регуляризации веса, которые ошибочно считаются одинаковыми. Вступление: Нейронные сети были впервые представлены в 1943 году Уорреном Маккалоком и Уолтером Питтсом, но не были достаточно популярны, так..