Обзор некоторых основных показателей эффективности для прогнозирования временных рядов.

Введение

Существует множество показателей ошибок и производительности для машинного обучения или статистической модели. Не говоря уже о новых, которые разрабатываются из года в год.

Одна метрика не лучше другой, в конце концов, это всего лишь одно число. Однако важно выбрать наиболее подходящий для вашей модели, чтобы вы могли правильно оптимизировать модель.

В этом посте я хочу рассмотреть классические метрики и некоторые специфические для прогнозирования, а также их плюсы и минусы. Это должно помочь вам лучше понять, где и когда использовать определенные показатели в вашей работе.

Классика

Средняя абсолютная ошибка (MAE)

Средняя абсолютная ошибка — это просто среднее значение различий между прогнозами, F, и фактическими значениями, A.

Плюсы:

  • Легко интерпретировать
  • Ошибка в единицах данных и прогнозов

Минусы:

  • Не наказывает выбросы (если это необходимо для вашей модели)
  • Зависит от масштаба, поэтому его нельзя сравнивать с другими моделями временных рядов, в которых используются другие единицы измерения.

Среднеквадратическая ошибка (MSE)

Среднеквадратическая ошибка аналогична MAE, но на этот раз мы возводим в квадрат разницу между прогнозируемыми и фактическими значениями.

Плюсы:

  • Выбросы строго наказываются (если это необходимо для вашей модели)

Минусы:

  • Ошибка не будет в исходных единицах временного ряда, поэтому ее будет сложнее интерпретировать.
  • Зависит от масштаба, поэтому его нельзя сравнивать с другими моделями временных рядов, в которых используются другие единицы измерения.

Среднеквадратичная ошибка (RMSE)

Среднеквадратическая ошибка — это то же самое, что и MSE, за исключением того, что в конце мы извлекаем корень из результата.

Плюсы:

  • По-прежнему сильно наказывает выбросы (если это необходимо для вашей модели)
  • Ошибка будет в исходных единицах временного ряда
  • Лучшее из обоих миров MSE и MAE

Минусы:

  • Менее интерпретируемый, поскольку вы все еще возводите ошибки в квадрат
  • Зависит от масштаба, поэтому его нельзя сравнивать с другими моделями временных рядов, в которых используются другие единицы измерения.

Прогнозирование конкретных

Средняя абсолютная ошибка в процентах (MAPE)

Средняя абсолютная ошибка в процентах — разница в процентах между фактическим значением и прогнозируемым значением. Часто это базовая метрика, используемая для измерения большинства моделей прогнозирования.

Плюсы:

  • Легко интерпретировать
  • Независимость от масштаба, поэтому можно сравнивать разные временные ряды

Минусы:

  • Бесконечная ошибка, если фактическое значение близко или равно нулю
  • Более низкие прогнозы связаны со 100% ошибкой, но более высокие прогнозы могут иметь бесконечную ошибку, поэтому они смещены в сторону занижения прогноза.

Симметричная средняя абсолютная ошибка в процентах (SMAPE)

Симметричная средняя абсолютная ошибка в процентах является расширением MAPE, но учитывает его ограничение штрафных санкций больше за отрицательные ошибки, чем за положительные.

Плюсы:

  • Больше не поддерживает прогнозирование, так как выход теперь полностью ограничен от 0 до 200%.

Минусы:

  • Тем не менее вероятность бесконечных значений, поскольку знаменатель может быть близок или равен нулю
  • Процентную ошибку между 0 и 200% трудно интерпретировать.
  • На самом деле не совсем симметричный, так как он не одинаково обрабатывает ошибки занижения и завышения прогноза (см. здесь)

Средняя абсолютная масштабированная ошибка (MASE)

Нет сезонности:

С сезонностью:

Это средняя абсолютная масштабированная ошибка как для сезонных, так и для несезонных временных рядов, и, вероятно, это лучшая и наиболее справедливая метрика для использования.

Если вы хотите узнать больше о сезонности, ознакомьтесь с моим предыдущим блогом на эту тему:



Сезонность временных рядов
Интуитивное представление о том, как сезонность влияет на анализ временных рядовtowardsdatascience.com



Если ошибка меньше единицы, то прогноз лучше усредненного наивного прогноза на обучающих данных длины T. С другой стороны, если он больше единицы, прогноз хуже усредненного наивного прогноза. В приведенном выше уравнении m относится к сезонному индексу.

Наивный прогноз — это когда вы устанавливаете свой прогноз на последнее наблюдаемое фактическое значение. Для наивного сезонного прогноза вы устанавливаете его на предыдущее наблюдаемое значение в сезоне, для которого вы прогнозируете.

Плюсы:

  • Не зависит от масштаба, так как числитель и знаменатель имеют одну и ту же единицу измерения.
  • Предсказуемое поведение, когда фактическое значение близко или равно нулю
  • Занижение прогноза и завышение прогноза наказываются одинаково

Минусы:

  • Может быть трудно объяснить заинтересованным сторонам

Среднеквадратическая логарифмическая ошибка (MSLE)

Среднеквадратическая логарифмическая ошибка измеряет отношение или относительную разницу между прогнозируемыми значениями и фактическими.

Плюсы:

  • Наказывает за занижение прогноза больше, чем за завышение прогноза (если это необходимо вашей модели)

Минусы:

  • Не легко интерпретировать
  • Может возникнуть проблема деления на значения, равные или близкие к нулю

Резюме и дальнейшие мысли

В этом посте мы рассмотрели классические метрики ошибок: MAE, MSE и RMSE, а также некоторые специфические для прогнозирования: MAPE, SMAPE, MASE и MSLE. Все эти показатели имеют разные плюсы и минусы, будь то независимость от масштаба, возможность делить на ноль или наказывать за заниженные прогнозы. Главное, что нужно помнить, это то, что не существует единого размера, подходящего для всех, и вам лучше использовать ряд показателей для оценки вашей модели прогнозирования.

Ссылки и дополнительная литература

Свяжись со мной!

(Все эмодзи разработаны OpenMoji — проект эмодзи и иконок с открытым исходным кодом. Лицензия: CC BY-SA 4.0)