Логистическая регрессия - один из широко используемых алгоритмов классификации. Более широко известно, что он используется для двоичной классификации; однако вы также можете использовать его для нескольких классов.

Давайте сделаем шаг назад и сначала подумаем о линейной регрессии. Линейная регрессия использует ряд независимых переменных для прогнозирования зависимой переменной. Эта зависимая переменная будет представлять собой непрерывный диапазон чисел и будет выглядеть как простая единственная переменная линия. Имея это в виду, как мы можем начать категорический прогноз? Например, если мы использовали линейную регрессию для прогнозирования заработной платы на основе многолетнего опыта, мы можем использовать логистическую регрессию для прогнозирования таких пороговых значений, как больше x или меньше x (Примечание: только два класса).

Теоретически линейная регрессия может предсказывать от отрицательной бесконечности до бесконечности, так как же логистическая регрессия дает только два результата? Логистическая регрессия принимает линейную функцию и преобразует ее в сигмовидную функцию. Это S-образная функция с нулевым уровнем пола и потолка. Ниже приведены несколько примеров сигмовидных функций:

Логистическая регрессия находит коэффициент сигмовидной функции, чтобы определить, как будет выглядеть буква S. График этой функции предсказывает вероятность определенного класса, которая затем может быть преобразована в прогнозы. Таким образом, функции предиктора претерпевают преобразование с использованием чего-то вроде функции (f (x)) на изображении выше. Это изменяет интерпретацию графика за счет увеличения признака, что приводит к увеличению журнала, следовательно, к увеличению вероятности в процентах.

Пример

Если бы мы предсказывали классы True / False, то мы смотрим на вероятность того, что каждая точка будет классом True. Красные точки имеют низкую вероятность того, что они являются Истинными, в то время как зеленые имеют высокую вероятность быть Истинными. Красота этого заключается в том, что в зависимости от того, какой вы хотите видеть свою пороговую вероятность, вы можете помочь настроить свои истинно положительные и ложные положительные результаты.

Логистическая регрессия также может использоваться с категориальными функциями / данными. Графически это будет выглядеть не так, как на изображении выше с переменными, распределенными по линии, а скорее всего с четырьмя разными группами в каждом углу графика.

Вывод

В целом это был действительно быстрый взгляд на логистическую регрессию. Логистическая регрессия действительно распространена и очень проста в использовании, если вы ее понимаете. Некоторые другие преимущества этого по сравнению с другими моделями включают быстрое обучение и прогнозирование модели, а также отсутствие необходимости масштабирования данных. С другой стороны, он не обеспечивает наиболее конкурентоспособных результатов и по-прежнему требует разработки некоторых функций для определения условий взаимодействия.

В качестве следующих шагов были бы полезны дальнейшие исследования некоторых предположений о логистической регрессии и дальнейшее понимание сигмовидной функции.