Визуальное руководство по метрикам модели бинарной классификации и их правильному использованию

Фон — простой на поверхности

Метрики, используемые для оценки эффективности моделей классификации, довольно просты, по крайней мере, с математической точки зрения. Тем не менее, я заметил, что многие специалисты по моделированию и специалисты по данным сталкиваются с трудностями при формулировании этих показателей и даже применяют их неправильно. Это легко допустить ошибку, поскольку эти показатели кажутся простыми на первый взгляд, но их последствия могут быть глубокими в зависимости от предметной области.

Эта статья служит наглядным руководством по объяснению общих метрик модели классификации. Мы изучим определения и на примерах покажем, где метрики используются ненадлежащим образом.

Краткое примечание о визуализации

Каждая визуализация состоит из девяноста предметов, представляющих все, что мы хотели бы классифицировать. Синие предметы обозначают отрицательные образцы, а красные — положительные образцы. Фиолетовый прямоугольник — это модель, которая пытается предсказать положительные образцы. Все, что находится внутри этого прямоугольника, модель предсказывает как положительное.

Разобравшись с этим, давайте углубимся в определения.

Точность и отзыв

Для многих задач классификации существует компромисс между точностью и полнотой. Часто бывает так, что оптимизация отзыва приводит к снижению точности. Но что на самом деле означают эти термины? Начнем с математических определений, а затем перейдем к визуальным представлениям.

Точность = TP/(TP + FP)

Отзыв = TP/(TP + FN)

Где TP = количество истинных положительных результатов, FP = количество ложных срабатываний, FN = количество ложных отрицательных результатов.

Давайте сосредоточимся на диаграмме ниже, на которой есть четыре положительных образца. Помните, что положительные прогнозы модели представлены прямоугольником на графике. Наблюдая за диаграммой, мы видим, что модель правильно предсказывает все четыре положительных образца — мы можем видеть это, поскольку все положительные образцы находятся внутри коробки. Мы можем рассчитать отзыв модели из графика, подсчитав положительные…