Оценка производительности классификационной модели с использованием кривых AUC-ROC и CAP Измерение производительности - важная задача для любого проекта машинного обучения, очень важно проверить, насколько хороша или плоха наша модель. Когда дело касается регрессионных моделей, мы используем R в квадрате (R²) и среднеквадратичную ошибку (RMSE). В случае моделей классификации мы можем полагаться на кривую AUC-ROC или кривую CAP, когда нам нужно оценить или проиллюстрировать..

Вы когда-нибудь задумывались, как продемонстрировать, что производительность набора тестов одной модели машинного обучения значительно отличается от производительности набора тестов альтернативной модели? В этом посте будет описано, как использовать тест ДеЛонга для получения значения p для определения того, имеет ли одна модель AUC, существенно отличающуюся от AUC другой модели, где AUC относится к области под рабочей характеристикой приемника. Этот пост включает пример, рассчитанный..