Показатели эффективности классификации:

1. Простая точность

2. Точность

3. Вспомнить

4. F Бета-мера

В нашей повседневной жизни мы сталкиваемся со многими классификационными ситуациями. Одним из них является выявление поддельных новостей из разборчивых новостей, которые в настоящее время распространяются в ваших семейных группах WhatsApp.

Допустим, вы хотели проанализировать 100 новостных статей и классифицировать их как фейковые или не фейковые.

Из матрицы путаницы вы можете увидеть, как модель классификации показала себя в отношении классификации новых статей.

Давайте создадим матрицу путаницы для этой задачи.

Теперь попытайтесь понять, как различные меры описывают приведенные выше результаты.

а. Простая точность

Простая точность = количество правильных прогнозов / общее количество прогнозов

= (50 + 30) / (60 + 40) = 80%

Эта метрика действительно хороша, но она не дает ответов на многие вопросы. В основном, когда веса между двумя классами смещены к единице. В этом случае модель всегда будет предсказывать каждое значение для предвзятого класса, и, возможно, модели нечему учиться. Следовательно, мы перейдем к другой метрике, которая может решить эту проблему.

б. Точность

Ниже приведена формула точности.

Точность = истинный положительный результат / (истинный положительный результат + ложный положительный результат)

Точность = 83,33 %

Только из формулы мы можем расшифровать, что точность - это то, что даст нам информацию обо всех случаях, когда мы правильно определили класс наблюдений из всех наблюдений, которые предсказаны как положительные.

Короче говоря, точность дает нам метрику предсказания для конкретного класса.

в. Отзывать

Это еще одна мера, которая измеряет точность конкретного класса с точки зрения обоих классов, т. Е. Если мы хотим рассчитать отзыв, мы сделаем это, используя прогнозы класса TP и TP + FN.

Отзыв = Истинно положительный / (Истинно положительный + Ложноотрицательный)

Отзыв = 83,33 %

Когда именно мы используем точность и когда мы используем отзыв?

Из Википедии

«Точность можно рассматривать как меру точности или качества, тогда как отзыв — меру полноты или количества».

Ну, вы не можете просто использовать точность и оставить отзыв или наоборот. Необходимо найти баланс между точностью и полнотой. Почему я так сказал? Это еще больше сбивает с толку.

Хорошо, позвольте мне привести вам простой пример. Вы идете в магазин Nike (я просто обожаю Nike). Вы хотели купить пару обуви. Теперь, когда вы входите в выставочный зал, вы обнаруживаете, что помимо обуви Nike также продает футболки, носки, футбольные мячи и много-много всего, но, несмотря на все эти увлекательные вещи, вам удается найти отдел обуви, и это тоже очень легко. Как Nike думал об этом? Подумать о чем? Это, помимо того, что дает вам кучу других вещей, которые вы даже не хотите покупать, и все же сумели привлечь ваше внимание к обуви.

Это и есть баланс отзыва и точности.

По сути, вспомнить — это все вещи, которые хранятся в выставочном зале, но точность — это обувь, которую вы хотите найти в выставочном зале. Я надеюсь, вы поняли концепцию.

д. F бета-мера

Это не что иное, как взвешенное гармоническое среднее значение точности и полноты.

F-бета = 1 / (b*(1/точность) + (1-b)*(1/отзыв))

Чем выше значение бета, тем выше будет значение точности.

Это мера, которая поможет вам найти правильный баланс между точностью и отзывом.

Дайте мне знать ваши мысли в разделах комментариев.