Публикации по теме 'dropout'
Поймите отсев: глубокое обучение на игрушечных примерах
Dropout — один из основных методов регуляризации в глубоких нейронных сетях. Эта история поможет вам глубже понять, что такое Dropout и как он работает.
В глубоком обучении, особенно в обнаружении объектов, может легко произойти переобучение. Переоснащение означает, что модель очень сложна, так что она очень хорошо подходит для набора поездов, но не работает на тестовом наборе. Отказ означает, что иногда он обнаруживает даже шумы на тестовом изображении.
При обнаружении объектов..
Регуляризация в глубоком обучении
При обучении нейронной сети мы должны принять множество решений, как показано на рисунке ниже.
Смещение и отклонение
Посмотрев на ошибку алгоритма на обучающем наборе (который мы называем смещением) и на наборе разработчика (который мы называем дисперсией), мы можем попробовать разные вещи, чтобы улучшить алгоритм.
Как справиться с высоким предвзятым отношением?
Более крупная сеть, т.е. больше скрытых слоев или больше скрытых единиц. Тренируйся дольше. Попробуйте более..
Вопросы по теме 'dropout'
Выпадение установки массива весов слоя на пустой
Я пытаюсь получить доступ к обученным значениям веса этой сети:
X = [[1] , [2], [3], [4], [5], [6], [7], [8]]
Y = [[1] , [2] ,[3] ,[4] ,[5] ,[6] ,[7] ,[8]]
from keras.callbacks import History
history = History()
from keras import optimizers...
760 просмотров
schedule
27.02.2022
Сверточные фильтры Keras Dropout
Я понимаю, что выпадение не имеет такого же эффекта для ядер сверточных фильтров. нейронной сети, как это делается для слоев FC :
Но применимо ли то же самое, если вы отбросите весь фильтр?
Предположим, что такая сетевая структура: Input,...
270 просмотров
schedule
02.04.2022
Измерение погрешности с использованием MC Dropout на pytorch
Я пытаюсь реализовать байесовский CNN с использованием Mc Dropout на Pytorch, основная идея заключается в том, что, применяя отсев во время тестирования и выполняя множество прямых проходов, вы получаете прогнозы из множества различных моделей. Я...
1868 просмотров
schedule
30.04.2022
Динамическое переключение dropout в Keras / Tensorflow
Я создаю алгоритм обучения с подкреплением в Tensorflow, и я хотел бы иметь возможность динамически отключать, а затем включать отключение за один вызов session.run() .
Обоснование : мне нужно (1) выполнить прямой проход без исключения, чтобы...
1184 просмотров
schedule
17.06.2022
Tensorflow: понимание вывода LSTM с Dropout Wrapper и без него
import tensorflow as tf
import tensorflow.contrib.eager as tfe
tfe.enable_eager_execution()
x = tf.range(1, 11, dtype=tf.float32)
x = tf.reshape(x, (5, 1, 2))
cell = tf.contrib.rnn.LSTMCell(10)
initial_state = cell.zero_state(5, dtype=tf.float32)...
482 просмотров
schedule
15.09.2022
ReLu и выпадение в CNN
Я изучаю сверточные нейронные сети. Я запутался в некоторых слоях CNN.
Что касается ReLu ... Я просто знаю, что это сумма бесконечной логистической функции, но ReLu не подключается к каким-либо верхним уровням. Зачем нам ReLu и как он работает?...
27112 просмотров
schedule
29.09.2023
процедура остановки при использовании отсева?
В настоящее время я реализую нейронную сеть, которая использует отсев. Встал вопрос, когда прекращать тренировки.
Обычно я бы использовал раннюю остановку, чтобы определить эту точку, но в исходном выпадающем документе указано, что «Отсев...
446 просмотров
schedule
16.12.2022
Какой тип регуляризации использует регуляризацию L2 или исключение в multiRNNCell?
Я работаю над проектом, связанным с автокодировщиком последовательностей для прогнозирования временных рядов. Итак, я использовал tf.contrib.rnn.MultiRNNCell в кодировщике и декодере. Я не понимаю, какая стратегия используется для регуляризации...
580 просмотров
schedule
11.05.2023
add training = True для слоя исключения внутри предварительно обученного тензорного потока модели
У меня есть предварительно обученная модель CNN с тензорным потоком с выпадающим слоем внутри.
Я хочу изменить существующий слой отсева и включить отсевы на этапе тестирования (обучение = True), но без перестройки всей модели. (есть конкатенация...
26 просмотров
schedule
16.01.2024
