Архитектура MNIST, полносвязный уровень 1, выходной размер

Я не понимаю часть этого (quora: Как последний уровень ConvNet соединяется с первым полносвязным уровнем):

Сделайте одно горячее представление карт объектов. Таким образом, у нас будет 64 * 7 * 7 = 3136 входных признаков, которые снова обрабатываются 3136 нейронами, уменьшая их до 1024 признаков. Умножение матриц для этого слоя будет (1x3136) * (3136x1024) => 1x1024.

Я имею в виду, каков процесс сокращения 3136 входных данных с использованием 3136 нейронов до 1024 функций?


comment
Цитата правильно отмечена. Ссылка переформатирована.   -  person IvanH    schedule 24.04.2018


Ответы (2)


Я бы объяснил это, используя термины непрофессионала, как я это понимаю.

Одним из популярных представлений карт объектов является способ представления категориальных значений матрицей с использованием 1 и 0. Это способ для машин читать/обрабатывать данные (в вашем примере изображение или изображение). Затем ig производит вычисления с использованием матричной алгебры.

Теперь часть вычислений — это умножение 1 строки и 3136 столбцов двоичных значений (1 или 0) и другой матрицы размером 3136 строк и 1024 столбца. Когда вы умножаете эти две матрицы, результирующая матрица состоит из 1 строки и 1024 столбцов. Теперь это матрица из 1 и 0, которая представляет ваше изображение или картинку.

person âńōŋŷXmoůŜ    schedule 24.04.2018
comment
да, я понимаю умножение матриц, но не совсем то, откуда берется 1024 - person Diewin; 24.04.2018
comment
это произвольное измерение, используемое при преобразовании изображения в векторную (матричную) форму. Вы также можете использовать 128, но это не точно, или 2048-D, что очень точно, но требует большей вычислительной мощности. - person âńōŋŷXmoůŜ; 24.04.2018

Надеюсь, я правильно понял ваш вопрос.

Вы должны понимать умножение матриц. (1x3136) * (3136x1024) является примером матричного умножения, при котором номер столбца первого множителя ((1x3136)) должен быть равен номеру строки второго множителя (3136x1024). Это приводит к (1x1024), потому что первая строка множителя становится строкой результата, а столбец второго множителя становится столбцом результата.

Также проверьте это:

https://www.khanacademy.org/math/precalculus/precalc-matrices/multiplying-matrix-by-matrices/v/multiplying-a-matrix-by-a-matrix

person Mehmet Burak Sayıcı    schedule 24.04.2018