TL;DR
Существуют определенные значения потерь журнала для проблем классификации, которые показывают, работает ли ваша модель лучше, чем случайность.
Введение в потерю журнала
Есть ряд показателей, которые вы можете использовать при оценке качества двоичного классификатора. К ним относятся точность, прецизионность / отзыв и чувствительность / специфичность. Уловка всех этих показателей заключается в том, что они требуют, чтобы классификатор пометил каждый экземпляр положительной или отрицательной меткой. Здесь нет места оттенкам серого.
Помимо прогнозирования метки, бинарные классификаторы, такие как логистическая регрессия, древовидные модели и нейронные сети, могут давать вероятности классов. Таким образом, вместо того, чтобы предсказывать экземпляр как положительный, он может предсказать, что у экземпляра есть 60% -ный шанс быть положительным и 40% -ным шансом быть отрицательным.
Хотя это позволяет нам исследовать прогнозы на более детальном уровне, все метрики проверки модели, которые мы использовали, теперь недействительны. [Раздаются звуки постукивания]. Есть один забытый старый друг, который может помочь нам ориентироваться в этом более изысканном ландшафте: потеря журнала.
Определение потери журнала можно найти во многих местах в Интернете. Даже зная формальное определение, нам все еще нужно ответить на вопрос: Как мне узнать, хороша ли моя модель?. Ответить на этот вопрос с метрикой точности интуитивно понятно. Очевидно, что для выборки, сбалансированной между двумя классами, случайное угадывание приведет к 50% точности. Любая более высокая точность должна быть связана с предсказательной силой вашей модели.
Бинарная классификация
Существуют эквивалентные магические числа для потери журнала. Для потери двоичного журнала случайным образом угадывается установка вероятности обоих классов равной 0,5 для каждого экземпляра. Вот пример кода Python для демонстрации:
0.69314718056
Обратите внимание, что набор данных сбалансирован, поскольку в actual равное количество классов 0 и 1. Таким образом, это эквивалентно 50% точности в задаче двоичной классификации. Оценка точности выше 50% указывает на то, что ваша модель обладает некоторой предсказательной силой. Точно так же оценка потерь журнала ниже 0,693 указывает на то, что ваша модель обладает прогностической силой.
Классификация по трем классам
Итак, это проблема двоичной классификации. Что делать, если в задаче три класса? Подход похожий. Мы можем узнать магическое число потери журнала, немного изменив двоичный код проблемы.
1.09861228867
Здесь мы видим магическое число 1.098. Итак, для задач трех классов мы должны убедиться, что потеря журнала в нашем тестовом наборе ниже этого порога.
Произвольное количество классов
Итак, теперь мы знаем магические числа потери журнала для нескольких конкретных случаев. Хотя было бы неплохо узнать, что это такое в общем случае. К счастью, Firebug на Stack Overflow предоставил простую формулу для вычисления магического числа потери журнала для произвольного количества классов. Это просто натуральный логарифм количества классов.
log(2) = 0.693 log(3) = 1.098 log(4) = 1.386 log(5) = 1.609
Вывод
Магические числа потери журнала определяют порог производительности, который модель должна превзойти. Вооружившись соответствующим магическим числом для нашей конкретной задачи классификации, легко увидеть, обладают ли предсказания вероятности, которые делает наша модель, какой-либо предсказательной силой.
