Сравнение математических алгоритмов контролируемого машинного обучения и вариантов использования

Машинное обучение – это область исследования, которая позволяет компьютерам обучаться без явного программирования.

Обучение с учителем.
Обучение с учителем — это когда модель обучается на помеченном наборе данных (с учетом зависимой функции). Угадай, что такое зависимая функция???… Проще говоря, это функция, которую мы хотим предсказать. Все остальные классифицируются как независимые признаки.

Пример контролируемых алгоритмов обучения:

• K-ближайший сосед
• Наивный Байес
• Логистическая регрессия
• Метод опорных векторов (SVM)
• Деревья решений
• Модели ансамбля

Чувствуете себя озадаченным?

Эй, подождите, пролистайте страницу, готов поспорить, что вы получите от этого максимум удовольствия.

Рассмотрите набор данных D={xi,yi}: xi – независимые функции, а yi∈{0,1}.
Мы будем рассматривать каждый алгоритм для задач классификации только для того, чтобы упростить понимание основной интерпретации.

1.) K-ближайший сосед

Проще говоря, KNN в задаче классификации работает так, что точка запроса получает метку класса на основе k ближайших точек данных и применяет большинство голосов (yi=1). Если большинство ближайших точек данных относятся к положительному классу, то точке данных может быть присвоена метка положительного класса и наоборот.

Если набор данных чрезмерно рандомизирован или полностью перепутан, то в данных нет полезной информации; большинство моделей ML в этом случае терпят неудачу, как и K-NN.

_________________________________________________________________

2.) Наивный Байес

Классификация Algo на основе вероятности. Основноепредположение состоит в том, что функции условно независимы друг от друга.

Формулировка наивного байесовского алгоритма: P(Y=1|xi)(Читайте: вероятность Y=1 при наличии независимых признаков xi)

Наивная байесовская формулировка

Шаги:
* Найдите P(Y=1|xi) и P(Y=0|xi) для каждой точки данных (неформально для каждой строки, которую вы хотите предсказать.
* Сравните обе вероятности P(Y= 1|xi) и P(Y=0|xi) для каждой точки данных, и одна точка с высокой вероятностью принимается за прогнозируемое значение.

_________________________________________________________________

3.) Логистическая регрессия

Логистическая регрессия на самом деле является методом классификации, проще говоря, что она делает, пытается разделить Y = 1 и Y = 0 (небольшое изменение для логистики заключается в том, что Y = -1 вместо Y = 0) путем подгонки линии (для 2D) и плоскость (для 3D). Основное предположение логистической регрессии заключается в том, что данные линейно разделимы.

Логистическая регрессия Геометрическая интуиция

Поскольку мы не можем подробно обсуждать логистическую регрессию прямо сейчас, резюмируя, логистическая регрессия заключается в поиске оптимальной плоскости или линии для разделения точек, что уменьшает количество ошибок, связанных с неправильными метками. Задача оптимизации логистической регрессии может быть записана как:

W* = argmin summ log((1+ exp(-yi W T xi))

Для логистической регрессии yi∈{-1,1}.

_________________________________________________________________

4.) Машины опорных векторов

SVM — используется для задач классификации и регрессии.

SVM работает над разделением точек на плоскости. Скажем, у нас есть гиперплоскость π, максимизирующая поля, и у нас есть π+ и π-, точки данных, через которые проходят эти плоскости границ, называются опорными векторами. У нас есть два опорных вектора на следующем графике.

Геометрическая интуиция

Для классификации мы будем использовать π, гиперплоскость, максимизирующую поля.

Формулировка SVM: (W*, b*) = argmin (W,b) ((||W||/2) + C * (1/n) sum(ξi)) | yi (WT X + b) ›= 1 — ξI для всех i Это целевая функция, которая требует максимизировать запас и минимизировать ошибки.

Эй, не волнуйтесь, мы подробно обсудим этот алгоритм шаг за шагом. ВПЕРЕД, вы почти у цели!

_________________________________________________________________

5.) Деревья решений

Используется для методов классификации и регрессии. Также объясняется как вложенный классификатор if-else.

Структура дерева решений

Учитывая, что любая точка запроса, предсказывающая ее метку класса, является прямой. Просто нужно создать операторы if-else, выбирая узлы с помощью различных тактик, таких как энтропия (указывает степень случайности в данных), получение информации и примесь Джини.

Формулировка различных тактик построения дерева решений:

• Энтропия(y) = H(y) = - сумма (p(yi)*log2 (p(yi)))
• Прирост информации = энтропия (родительский) — средневзвешенное значение энтропии дочерних узлов
• IG(Y) = 1 — сумма (p(yi))²

_________________________________________________________________

6.) Ансамблевые модели

В машинном обучении несколько моделей объединяются для создания мощной модели. Несколько моделей по отдельности могут плохо работать, но в сочетании они становятся более мощными. Такая комбинация для улучшения производительности нескольких базовых моделей называется ансамблем.

Наиболее часто используемые модели ансамблей:

• Бэггинг (самозагрузочная агрегация)
• Повышение

Начальная агрегация (бэггинг) Интуитивная выборка с заменами и моделями обучения на разных выборках: Начальная агрегация, объединяющая эти разные модели обучения с большинством голосов. Когда используются деревья решений, это алгоритм случайного леса.

Повышение интуиции. Проще говоря, это всего лишь алгоритм, который учится на предыдущих ошибках и пытается на них опираться. Здесь мы используем несколько слабых учеников в одного сильного ученика.

__________________________________________________________________

Эй, поздравляю! Вы далеко продвинулись!!
Удачного обучения.

Ссылки: