Я создал нейронную сеть Auto Encoder в MATLAB. У меня довольно большие входные данные на первом уровне, которые я должен реконструировать через выходной слой сети. Я не могу использовать большие входные данные как есть, поэтому я конвертирую их между [0, 1], используя sigmf функцию MATLAB. Он дает мне значения 1.000000 для всех больших значений. Я пробовал использовать настройку формата, но это не помогло.
Есть ли обходной путь для использования больших значений в моем автокодировщике?
Процесс преобразования ваших входных данных в диапазон [0,1] называется нормализацией, однако, как вы заметили, функция sigmf не подходит для этой задачи. Эта ссылка может быть вам полезна.
Предположим, что ваши входные данные представлены матрицей из N строк и M столбцов, где каждая строка представляет собой шаблон ввода, а каждый столбец является функцией. Если ваш первый столбец:
vec =
-0.1941
-2.1384
-0.8396
1.3546
-1.0722
Затем вы можете преобразовать его в диапазон [0,1], используя:
%# get max and min
maxVec = max(vec);
minVec = min(vec);
%# normalize to -1...1
vecNormalized = ((vec-minVec)./(maxVec-minVec))
vecNormalized =
0.5566
0
0.3718
1.0000
0.3052
Как указывает @Dan в комментариях, еще один вариант - стандартизировать данные. Цель этого процесса - масштабировать входные данные, чтобы получить среднее значение 0 и дисперсию 1. В этом случае вам нужно вычесть среднее значение столбца и разделить на стандартное отклонение:
meanVec = mean(vec);
stdVec = std(vec);
vecStandarized = (vec-meanVec)./ stdVec
vecStandarized =
0.2981
-1.2121
-0.2032
1.5011
-0.3839
minVal и глобальный maxVal, который будет использоваться для нормализации ВСЕХ входных данных для обучения и тестирования.
- person Shai; 14.07.2014
sigmf.
- person Shai; 14.07.2014
n образец измерения p. Это для обучающей выборки, то есть у вас n разных параметра нормализации? Или это для каждого входного измерения, и в этом случае у вас есть p разных параметра нормализации?
- person Shai; 14.07.2014
Прежде чем я дам вам свой ответ, давайте немного подумаем о причинах, лежащих в основе автокодировщика (AE):
Цель автокодировщика состоит в том, чтобы неконтролируемым образом узнать что-то о базовой структуре входных данных. . Как AE достигает этой цели? Если ему удается восстановить входной сигнал из выходного сигнала (который обычно имеет меньшую размерность), это означает, что он не потерял информацию и ему удалось эффективно изучить более компактное представление.
В большинстве примеров предполагается, для простоты, что и входной, и выходной сигнал находятся в диапазоне [0..1]. Следовательно, одна и та же нелинейность (sigmf) применяется как для получения выходного сигнала, так и для восстановления входных данных из выходов.
Что-то вроде
output = sigmf( W*input + b ); % compute output signal
reconstruct = sigmf( W'*output + b_prime ); % notice the different constant b_prime
Затем этап обучения AE пытается минимизировать ошибку обучения || output - reconstruct ||.
Однако кто сказал, что нелинейность реконструкции должна быть идентична той, которая используется для вычисления выходных данных?
В вашем случае предположение, что входные значения находятся в диапазоне [0..1], не выполняется. Таким образом, кажется, что для реконструкции необходимо использовать другую нелинейность. Вы должны выбрать тот, который соответствует фактическому диапазону ваших входных данных.
Если, например, ваш входной диапазон находится в (0..inf), вы можете рассмотреть возможность использования exp или ().^2 в качестве нелинейности реконструкции. Вы можете использовать многочлены различной степени log или любую другую функцию, которая, по вашему мнению, может соответствовать размеру ваших входных данных.
Отказ от ответственности: я никогда не сталкивался с таким случаем и не встречал такого типа решения в литературе. Однако я считаю, что это имеет смысл и, по крайней мере, стоит попробовать.
sigmfна что-то другое, например,log, может быть? - person Shai schedule 14.07.2014