ReLu и выпадение в CNN

Я изучаю сверточные нейронные сети. Я запутался в некоторых слоях CNN.

Что касается ReLu ... Я просто знаю, что это сумма бесконечной логистической функции, но ReLu не подключается к каким-либо верхним уровням. Зачем нам ReLu и как он работает?

Что касается отсева ... Как работает отсев? Слушал видео-разговор Дж. Хинтона. Он сказал, что существует стратегия, которая просто игнорирует половину узлов случайным образом при обучении весов и уменьшает вдвое вес при прогнозировании. Он говорит, что он был вдохновлен случайными лесами и работает точно так же, как вычисление среднего геометрического этих случайно обученных моделей.

Эта стратегия аналогична отсеву из школы?

Может ли кто-нибудь помочь мне решить эту проблему?


deep-learning neural-network dropout
person user3783676    schedule 05.12.2014    source источник
comment
Очень хороший ресурс - Учебник CVPR 2014 по крупномасштабному визуальному распознаванию автора Marc'Aurelio Ranzato. Он вводит и подробно описывает обе темы.   -  person deltheil    schedule 05.12.2014
comment
@deltheil Мне очень жаль, но я не могу найти ничего о том, что вы бросили учебу, в статье, которую вы связали. Поиск в документе на предмет выпадения возвращает три вхождения, все три - просто упоминание о том, что здесь используется выпадение. У вас есть страница с подробностями о выпадении? Я уже прочитал это, но ничего не нашел о отсевах   -  person DBX12    schedule 24.06.2017

Ответы (1)


arrow_upward
24
arrow_downward

ReLu: функция выпрямителя - это функция активации f (x) = Max (0, x), которая может использоваться нейронами, как и любая другая функция активации, узел, использующий функция активации выпрямителя называется узлом ReLu. Основная причина, по которой он используется, заключается в том, насколько эффективно его можно вычислить по сравнению с более традиционными функциями активации, такими как сигмовидный и гиперболический тангенс, без существенного различия в точности обобщения. Функция активации выпрямителя используется вместо линейной функции активации, чтобы добавить нелинейности в сеть, иначе сеть могла бы вычислить только линейную функцию.

Исключение: Да, описанный метод такой же, как и отсев. Причина, по которой случайное игнорирование узлов полезно, заключается в том, что это предотвращает возникновение взаимозависимостей между узлами (то есть узлы не изучают функции, которые полагаются на входные значения от другого узла), это позволяет сети узнать больше о более надежных отношениях. Реализация исключения имеет такой же эффект, как и получение среднего значения для комитета сетей, однако затраты значительно меньше как по времени, так и по объему памяти.

person Hungry    schedule 08.12.2014
comment
Doese ReLu подключается к верхнему слою? Я проверяю архитектуру AlexNet на наличие задачи «Имагенет». Кажется, что ReLu - это самостоятельный слой. Если это так, он не передает значение на верхние уровни. Зачем нам этот неактуальный слой? - person user3783676; 11.12.2014
comment
ReLu - это всего лишь отдельный нейрон, который реализует функцию активации выпрямителя max (0, n), а не совершенно новый слой. Хотя в отчете не указываются точные детали, похоже, что эта функция активации используется на каждом нейроне в сети как на сверточном, так и на полностью связанном уровнях. - person Hungry; 12.12.2014
comment
Функция ReLu по-прежнему выглядит линейной. Способна ли она решать проблемы так же, как сигмовидная? - person Andrzej Gis; 18.09.2017