Выпадение означает игнорирование единиц во время фазы обучения определенного набора нейронов, которые выбираются случайным образом. Эти блоки не учитываются во время конкретного прохода вперед или назад. С технической точки зрения, на каждом этапе обучения отдельные узлы либо исключаются из сети с вероятностью (1-p), либо сохраняются с вероятностью «p», так что остается уменьшенная сеть; входящие и исходящие ребра к выпадающему узлу также удаляются.
Нам нужен Dropout, чтобы предотвратить переобучение. Dropout — это подход к регуляризации в нейронных сетях, который помогает уменьшить взаимозависимое обучение нейронов. Где использовать Dropout реализуется для каждого слоя в нейронной сети. Его можно использовать с большинством типов слоев, таких как плотные полносвязные слои, сверточные слои и рекуррентные слои, такие как сетевой уровень с долговременной кратковременной памятью. Удаление может быть реализовано на любом или всех скрытых слоях в сети, а также на видимом или входном слое. Он не используется на выходном слое.
Преимущества:-
1. Отсев заставляет нейронную сеть изучать более надежные функции, которые очень полезны в сочетании с различными случайными подмножествами других нейронов. 2. Dropout обычно удваивает количество итераций, необходимых для сходимости. Однако время обучения для каждой эпохи меньше.
