Немногие алгоритмы работают быстрее, чем градиентный спуск. Чтобы понять эти алгоритмы, мы должны иметь возможность использовать экспоненциально взвешенные средние значения. Он также известен как экспоненциально взвешенные скользящие средние (EWMA).

Они используются для любых данных, которые находятся в последовательности. Он в основном использовался для уменьшения зашумленных данных временных рядов. Это также называется «сглаживанием» данных.

Этого можно добиться путем взвешивания количества наблюдений и использования их среднего значения, которое называется скользящим средним.

Рассмотрим пример температуры Лондона. Зимой он снижается, а в середине года поднимается, а затем снова падает в течение декабря. Скользящее среднее можно рассчитать по следующей формуле.

Vt = ß*Vt-1 +(1-ß)*Θ

где,
Vt = скользящее среднее в любой день ‘t’.
ß = любое значение от 0 до 1
Скользящее среднее рисует красную линию, как показано на рисунке ниже.

Если значение ß слишком велико, т. е. близко к 1, кривая становится более гладкой, но смещается вправо, как показано на изображении ниже.

Если значение ß слишком низкое, то скользящее среднее будет представлять действительно зашумленные данные, представленные желтой линией.

Что это значит?

Учтите, что мы рассчитываем средневзвешенное значение за 100 дней, а значение ß равно 0,9, тогда
V100 = (0,9) Vsub99 + 0,1Vsub100;
V99 = (0,9) Vsub98 + 0,1Vsub99
..
V2 = (0,9)Vsub1 +0,1Vsub1

Подставляя значения в 1-е уравнение, получаем,
Vsub100 = 0,1*Vsub100 +0,1*0,9*Θ99+0,1*0,9²*Θ98+0,1*0,9³*Θ97….

Следовательно, он становится средневзвешенным значением Θ100, которое увеличивается экспоненциально.

Vt: обычно усредняется за 1/1-ß дней.
Например: ß = 0,9 ~=10
ß усредняется за 10 дней (сглаженная кривая: красная линия)
ß= 0,98 ~=50
ß в среднем за 50 дней (сглаженная кривая: зеленая линия) — не очень точное представление
ß =0,5 ~= 2
ß средние значения за два дня (шумовая кривая: желтая линия) — неточное представление.

Значение ß можно рассчитать путем настройки гиперпараметра.

Преимущества использования экспоненциально взвешенного среднего

  1. Код реализации для вычисления экспоненциального среднего очень компактен, как показано ниже. Следовательно, это вычисление и эффективное использование памяти.

Авторы: Эш Вонг, Эндрю Нг