Вы новичок в машинном обучении.

Вы просмотрели пару курсов, но все еще не понимаете, как модели машинного обучения работают под капотом.

Эта статья для вас! Начав с трех основных принципов, приведенных ниже, и применив их к любым моделям машинного обучения, таким как линейная регрессия, логистическая регрессия, машина опорных векторов, Xgboost и т. д., вы поймете их гораздо проще и систематичнее.

Позвольте мне еще раз объяснить, что означает каждый столб.

  1. Алгоритм — это форма нашей математической функции, которая будет скорректирована, чтобы соответствовать точкам обучающих данных.
  2. Функция потерь или функция затрат измеряет качество подобранной модели. Грубо говоря, функция потерь необходима, чтобы различать хорошие классификаторы и плохие классификаторы.
  3. Оптимизатор для поиска оптимальной точки, которая поможет намполучить наиболее подходящую модель с наименьшей стоимостью

Грубо говоря, для любых моделей машинного обучения принцип работы заключается в том, чтобы получить наиболее подходящие математические параметры, которые имеют наименьшее значение потерь, с помощью оптимизатора.

Если мы изменим форму алгоритма, форму функции потерь или форму оптимизатора, мы получим другие модели машинного обучения. Это может помочь вам понять, что разные модели ML просто предлагают разные типы алгоритмов, функцию потерь и оптимизатор.

Например, давайте используем модель линейной регрессии, чтобы проиллюстрировать эти 3 столпа.

  • Алгоритм

  • Функция потерь

  • Оптимизатор

Я покажу вам, как мы можем сформировать новые модели машинного обучения, изменив один из трех столпов.

  • Используйте функцию потерь, я хочу оштрафовать переменные с большим весом W, чтобы избежать переобучения, добавив параметр лямбда к исходной функции потерь. См. изображение ниже.

Как видите, добавляя новый член регуляризации к функции потерь, вы создаете различные формы модели линейной регрессии, которые часто называют регуляризацией L1/L2.

  • Или, если мы пойдем с формой алгоритма модели, возведя в квадрат функцию / независимую переменную, вы получите модель полиномиальной регрессии вместо линейной регрессии.

Теперь вы можете бросить себе вызов, записав уравнение тех трех столпов моделей машинного обучения, которые вы изучили.

Приятного обучения!