Матрица путаницы — это структура, используемая для оценки производительности прогностической модели на основе количества правильно и неправильно предсказанных моделью тестовых данных.
Эта матрица путаницы обеспечивает легкое для понимания отображение производительности модели классификации, не только предоставляя, какие классы прогнозируются правильно и неправильно, но и тип возникающих ошибок.
Матрица путаницы используется для описания прогностической модели/классификатора на наборе тестовых данных, из которых известны истинные значения.
Синтаксис матрицы путаницы следующий:
Здесь;
TP = Наблюдение положительное, прогнозируемый результат положительный.
FP = Наблюдение положительное, прогнозируемый результат отрицательный.
TN = Наблюдение отрицательное, прогнозируемый результат положительный.
TN = Наблюдение отрицательное, прогнозируемый результат отрицательный.
Характеристики, которые необходимо определить, оценивая 4-ключевую классификацию
Это меры, которые оценивают прогностическую способность классификатора:
Точность: TP+TN/P+N
Частота ошибок: FP+FN/P+N
Отзыв: TP/TP+FN
Точность: TP/TP+FP
Чувствительность: TP/P
Специфичность: TN/N
Гармоническое среднее значение отзыва и точности:
2 * ((отзыв * точность)/отзыв + точность))
Давайте лучше разберемся с вычислением и оценкой на примере:
Скажем, нам дана матрица путаницы, и мы должны вычислить точность, отзыв, точность, гармоническое среднее отзыва и точность, чувствительность, специфичность.
Точность: TP+TN/P+N = 90+9560/10 000 = 96,5 %
Коэффициент ошибок: FP+FN/P+N = 210+140/10 000 = 3,5 %
Напомнить: TP/TP+FN = 90/300 = 30%
Точность: TP/TP+FP = 90/230 = 39,13 %
Чувствительность: TP/P = 90/300 = 0,30 = 30 %
Специфичность: TN/N = 9560/9700 = 98,5 %
Гармоническое среднее значение отзыва и точности:
2 * ((отзыв * точность)/отзыв + точность)) = 2 * ((39,13*30,00)/(39,13+30,00)) = 33,96 %
