Размеры полностью подключенного слоя

У меня есть некоторые сомнения относительно полносвязного слоя сверточной нейронной сети. Допустим, вход - это выход сверточного слоя. Я так понимаю, что предыдущий слой сплющен. Но может ли он иметь несколько каналов? (например, может ли вход для полностью подключенного слоя быть 16x16x3 (3 канала, сведенные в вектор из 768 элементов?)

Далее, я понимаю, что уравнение для выходов таково:

outputs = activation(inputs * weights' + bias)

Есть ли 1 вес для каждого входа? (например, будет ли в приведенном выше примере 768 весов?)

Далее, сколько существует предубеждений? 1 на канал (так 3)? 1 несмотря ни на что? Что-то другое?

И наконец, как фильтры работают на полностью подключенном слое? Может быть больше 1?


tensorflow deep-learning conv-neural-network nnapi
person grizzleKat45    schedule 25.06.2019    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Возможно, вы неправильно понимаете, как работает полностью подключенная нейронная сеть. Чтобы лучше понять это, вы всегда можете проверить несколько хороших руководств, таких как онлайн-курсы из Стэнфорда ЗДЕСЬ < / а>

Чтобы ответить на ваш первый вопрос: да, какие бы размеры у вас ни были, вам нужно сгладить его перед отправкой на полностью связанные слои.

Чтобы ответить на ваш второй вопрос, вы должны понимать, что полностью связанный слой на самом деле представляет собой процесс умножения матриц с последующим сложением векторов:

input^T * weights + bias = output

где у вас есть вход размером 1xIN, веса размером INxOUT и выходным размером 1xOUT, поэтому у вас есть 1xIN * INxOUT = 1xOUT. В целом у вас будут веса INxOUT и веса OUT для каждого входа. Вам также понадобятся смещения OUT, так что полное уравнение будет 1xIN * INxOUT + 1xOUT (член смещения).

Фильтров нет, так как вы не выполняете свертку.

Обратите внимание, что полносвязный слой также равен сверточному слою 1x1, и многие реализации позже используют полносвязный слой, это может сбить с толку новичков. Подробнее см. ЗДЕСЬ < / а>

person Xinyao Wang    schedule 25.06.2019
comment
хорошо, спасибо, я думаю, это имеет смысл. Что здесь означает "Т"? - person grizzleKat45; 25.06.2019
comment
Забудьте об этом, я изначально добавил, чтобы представить для транспонирования матрицы, но нам это больше не нужно. - person Xinyao Wang; 25.06.2019