Если вы когда-либо работали с алгоритмами машинного обучения, вы наверняка несколько раз встречали название "логистическая регрессия".

Что такое логистическая регрессия?

Логистическая регрессия — это контролируемый алгоритм обучения, используемый для классификации. Он очень хорошо работает для различных приложений в отрасли. Давайте подумаем о проблеме бинарной классификации: есть ли у человека диабет или нет, в зависимости от уровня сахара в его крови. Рассмотрим следующую таблицу ниже,

В таблице выше (1) означает, что у человека диабет, а (0) означает, что у человека нет диабета. Когда мы попытаемся построить график, как показано ниже, мы увидим, что если мы проведем прямую линию в точке, где уровень сахара = 200, и скажем, что у тех, у кого уровень сахара > 200, есть диабет, мы увидим, что одна точка неуместна. Точно так же, если мы скажем, что у кого-то, чей уровень сахара ‹ 220, нет диабета, мы увидим, что 2 балла неуместны. Таким образом, мы не можем создать гладкое условие, которое бы классифицировало людей с диабетом и тех, у кого его нет. Это основная причина, по которой мы хотели бы использовать сигмоидальную функцию, которая объединила бы независимую переменную (уровень сахара в крови) и зависимую переменную (диабет), чтобы сформировать гладкую кривую.

Что такое сигмоидальная функция?

Сигмоидальная функция выглядит как на рисунке ниже. Эта функция в основном работает с вероятностью. Если вероятность равна 1, это означает, что у человека диабет, если она равна 0, то у человека нет диабета. Мы также можем преобразовать эти вероятности в диапазоне от 0 до 1 в метки классов, например p>0,5 означает, что у человека диабет, а p‹0,5 означает, что у человека нет диабета.

Основными параметрами, управляющими логистической регрессией, являются коэффициенты b₀,b₁, потому что нам нужно знать, каким должен быть наклон этой сигмоидальной кривой, чтобы она правильно соответствовала нашим данным. Если у нас есть более 1 независимой переменной, мы добавим больше коэффициентов в наше уравнение.

Логит-функцию также можно обозначить как

ln(p/1-p)=b₀+b₁x

Теперь правая часть уравнения — не что иное, как линейное уравнение. Мы называем

b₀+b₁x as log odds. And p/1-p as odds.

Так, если вероятность того, что у человека диабет, равна 0,33, то p/1-p=0,33/0,67=0,5.

Таким образом, вероятность того, что у человека диабет, вдвое меньше, чем у человека, который не болеет диабетом.

Преимущества:

  1. Хорошо работает для задач классификации нескольких классов. Если мы рассмотрим задачу MNIST, где есть 10 классов 0–9. Нам пришлось бы создать (n-1) задачу бинарной классификации для каждого класса, например задачу бинарной классификации, чтобы различать 0 и 1, 1 и 2, 0 и 2 и т. д. Таким образом, в сумме у нас было бы n*(n -1)/2=45 бинарных классификаций для этой задачи. Итак, чтобы классифицировать изображение, нам нужно запустить все 45 классификаторов и выбрать наиболее эффективный. Логистическая регрессия чрезвычайно выгодна, потому что лучше обучать много классификаторов на небольшом наборе данных, чем один классификатор на огромном наборе данных.
  2. Это очень эффективно и не дорого в вычислительном отношении
  3. Он легко интерпретируется и не требует нормализации входных признаков.
  4. Методы регуляризации просты в использовании

Недостатки:

  1. Он может предсказывать только категориальные переменные. Нельзя использовать для числовых результатов
  2. Он уязвим для переобучения
  3. Требуется правильное представление данных - нам нужно заранее определить все независимые переменные.