В алгоритме обучения персептрона цель состояла в том, чтобы добиться линейного разделения входных шаблонов, пытаясь исправить ошибку классификации неправильно классифицированного шаблона на каждой итерации. На активацию было наложено ограничение: бинарный порог, чтобы желаемые выходные данные были dk = {0,1} или {-1,1}, а шаблоны были линейно разделимы.
В LMS мы снимаем эти ограничения и рассматриваем обучающий набор в форме T = {Xk, dk}, где Xk = x0, x1, x2, … xn — входные данные для обучения, а dk — желаемый результат для каждой k-й итерации.
Чтобы желаемый результат менялся непрерывно и плавно в течение некоторого интервала, мы просто меняем функцию активации с бинарного порога на линейную. (линейная функция активации f(x) = x, где вход такой же, как и выход).
Очень популярный онлайн-обучение, известный как алгоритм наименьшего среднего квадрата, разработан для решения линейно разделимых шаблонов. Алгоритм LMS был первой линейной адаптивной фильтрацией, разработанной для решения таких задач, как предсказание и выравнивание канала.
Общим фактором между персептроном и LMS является то, что оба используют линейный объединитель (они решают задачи, которые линейно разделимы).
Выходной сигнал или фактический выход или чистая активация нейрона, sk, тогда равняется желаемому выходу dk, который равен
Теперь мы определяем линейную ошибку ek, связанную с этой обучающей парой {Xk, dk}, как разницу между желаемым выходом и фактическим выходом.
В алгоритме LMS цель состоит в том, чтобы минимизировать эту меру линейной ошибки по шаблонам обучающего набора T.
Сведения о работе LMS:
- Включение меры линейной ошибки в процедуру обновления весового пространства дает алгоритм обучения LMS.
- LMS, примененная к одному адаптивному линейному нейрону, изображена
3. Рекурсивное уравнение обновления веса для LMS:
(wk+1 = вычисляемый вектор весов, wk = вектор весов, η= скорость обучения, ek = линейная ошибка, xk = входной вектор в нормализованной форме (мод квадрат))
Здесь весовой вектор wk модифицируется произведением масштабированной ошибки ek и нормализованного входного вектора xk.
Любое обновление веса обычно представлено:
ПРИМЕЧАНИЕ:
1. Веса изменяются в направлении xk, как и в алгоритме обучения персептрона, за исключением того, что вместо него используется единичный вектор xk(cap).
2. Скорость обучения η масштабируется от итерации к итерации (единичный вектор), что делает этот алгоритм самонормализующимся. Преимущество нормализации xk заключается в том, что большие векторы величин не доминируют в процессе обновления весового пространства.
Работа LMS:
Вычисляем ошибку изменения весов и статических xk. Изменение ошибки для xk зависит от степени изменения wk.
Делаем вывод, что коррекция ошибки пропорциональна самой ошибке ek. И с каждой итерацией (k) уменьшает ошибку на коэффициент скорости обучения.
Хотя альфа-LMS является линейным правилом исправления ошибок, в том смысле, что оно выполняет коррекцию ошибок пропорционально мгновенной ошибке шаблона, оно также использует мгновенную оценку градиента, пытаясь минимизировать среднеквадратичную ошибку (MSE ) по обучающей выборке T.
альфа-СУО, работающая с нормализованным набором шаблонов обучения:
где dk — нормализованное желаемое значение, а xk — нормализованный входной шаблон, ek — ошибка, вычисленная с использованием нормализованного обучающего набора. (Обновление веса происходит в направлении входного вектора в попытке уменьшить уравнение ошибки.)
Характеристики LMS:
- Алгоритм LMS является линейным в отношении настраиваемых параметров, что делает алгоритм эффективным с точки зрения вычислений.
- Он эффективен в исполнении.
- Его легко кодировать и легко построить.
- Он устойчив к шуму или любым внешним помехам на обучающем входе.
Проблема, которую мы решаем в LMS, заключается в том, как спроектировать модель с несколькими входами и выходами неизвестной динамической системы, построив ее вокруг одного нейрона.
Модель нейрона работает под влиянием алгоритма, который контролирует ненужные корректировки синаптических весов нейрон.
Алгоритм начинается с произвольных/случайных начальных весов, где корректировка этих синаптических весов осуществляется в ответ на статистические изменения в поведении систем, выполняемые на непрерывной основе.
Вычисление или настройка/корректировка, если эти веса выполняются внутри интервала (k) . Это означает, что ввод будет изменяться в статистическом смысле.
Функция активации, используемая в LMS, представляет собой линейную функцию активации, где для каждого входа выход остается неизменным.
Способ, которым ek (сигнал ошибки) используется для управления настройками синаптических весов (wk), определяется функцией стоимости. Чем меньше функция стоимости, тем выше функционирование модели.
Начиная с начального предположения W0, сгенерируйте последовательность весовых векторов W1,W2 .. таким образом, чтобы функция стоимости E(w) уменьшалась на каждой итерации, чтобы дать,
E(Wk+1) ≤ E(Wk)
где Wk+1 — следующий вес.
Алгоритм, наконец, сойдется к оптимальному решению.
