Насколько точной может быть ваша модель ?

Термин, который часто используется в качестве эталона для проверки правильности нашей модели, — производительность на человеческом уровне. Сравняться с человеческим уровнем производительности в некоторых задачах, таких как компьютерное зрение, считается большим достижением, но сможете ли вы превзойти его?

В любой общей модели мы видим значительный рост точности по мере того, как мы вкладываем в нее все больше и больше времени. Но повышение точности через некоторое время становится незначительным. Во многих случаях наблюдается, что после превышения точности человеческого уровня очень трудно увидеть дальнейший рост точности нашей модели.

Это верно, потому что, пока ваша точность ниже, чем у человека, вы можете получать помеченные данные от людей, а также вручную анализировать ошибку.
Но это становится очень сложно, когда вы превосходите производительность на уровне человека .

Но давайте предположим, что у нас есть бесконечное количество времени, тогда станет ли модель точной на 100%?

Ответ очевиден: нет, точность на практике приближается к теоретическому пределу, но никогда не превышает его. Этот предел можно рассматривать как верхнюю границу нашей модели или максимально достижимую точность.
Это известно как ошибка Байеса.

В математических терминах (определение вики) коэффициент ошибки Байеса — это наименьший возможный коэффициент ошибки для любого классификатора случайного результата.
Оптимальная ошибка Байеса существует для некоторых задач, и невозможно сделать правильный вывод. предикация . Например, представьте себе проблему распознавания лиц, когда на вход подается очень размытое изображение.

Невозможно сделать вывод о каких-либо особенностях, что означает, что ошибка Байеса всегда существует.

Понимание ошибки Байеса кардинально изменило направление развития модели.
Например, рассмотрим эти два случая.

В этих случаях обе модели A и B похожи, но они различаются ожидаемой ошибкой Байеса.
Это, однако, радикально изменит направление, в котором будут двигаться обе модели.
Модель 1 будет сосредоточена на смещении уменьшения, тогда как, Модель 2 будет сосредоточена на снижении дисперсии.
Поэтому правильная оценка байесовской ошибки необходима для разработки модели.
Для этого нам сначала нужно правильно понять человеческий фактор.

Понимание человеческой ошибки

Приведем краткий пример, где вам нужно определить здоровье пары легких человека по изображению.

Человеческая ошибка при этом может иметь несколько определений. Мы рассмотрим оценку врачей для этого. Это будет иметь несколько случаев, как показано ниже.

Естественно может возникнуть вопрос, что из них можно считать ошибкой человека?

Что ж, ответ на этот вопрос зависит от сценария,
Например, рассмотрим пример

В первом случае мы сосредоточимся на предвзятости, во втором — на дисперсии,
в третьем случае мы не можем просто использовать человеческую ошибку, нам придется учитывать 0,5 процента как человеческую ошибку, чтобы улучшить модель и нарисовать хорошее сравнение.

Так как команда опытных врачей может дать ошибку 0,5%, то ошибка Байеса будет определенно меньше или равна 0,5%.
Поэтому мы можем заменить человеческую ошибку ошибкой Байеса .

Но что, если мы преодолеем человеческую ошибку?

Преодолеть человеческую ошибку

Для предыдущего примера, если мы получим такую ситуацию.

Затем мы преодолели человеческую ошибку, после чего становится труднее полагаться на человеческую интуицию и данные, помеченные человеком, поскольку, если мы хотим показать улучшение производительности.
Это может быть очень трудно заменить, и поэтому мы обнаруживаем, что после на этом этапе мы перестаем прогрессировать.

После этого момента значение ошибки Байеса также становится таким ясным, поскольку у нас нет общего способа определения ошибки.

Вам может быть интересно, возможно ли это вообще?
Да, искусственный интеллект добился больших успехов в следующих областях, которые превосходят людей,

Тенденция, которую вы можете наблюдать в них, заключается в том, что большинство из них представляют собой примеры, основанные на больших числовых объемах, которые лучше обрабатываются компьютерами.

Но, с другой стороны, производительность человека в задачах компьютерного зрения намного выше.

Вывод

Мы можем предположить, что:

а) Вы всегда можете подогнать модель к тренировочному набору

б) Производительность обучения довольно хорошо обобщается производительностью набора тестов/разработчиков.

Мы можем разделить ошибки на три категории, которые мы будем рассматривать сверху вниз.

Наша первая цель будет состоять в том, чтобы определить человеческую ошибку, исходя из наилучшего сценария, и после этого давайте рассмотрим два случая.

ДЕЛО 1

Это известно как предотвратимая предвзятость, мы можем:

а) использовать более крупные сети
б) получить больше обучающих данных
в) получить лучшую архитектуру
г) тренироваться дольше

Это уменьшит предотвратимую предвзятость

СЛУЧАЙ 2
После того, как мы получили хорошую ошибку обучения, мы рассматриваем последние два значения

Это известно как дисперсия, мы можем:

а) Добавьте больше данных
б) Улучшите архитектуру
в) Используйте регуляризацию

Это мы уменьшаем дисперсию

После этого у нас на руках будет хорошая модель.

Методы расчета байесовской ошибки (необязательное чтение)

Теорема Байеса о том, что если произошло четное B, каковы шансы, что произойдет A.

Убрав понятие нормализации, получим

Карта или максимальная апостериорная модель — это процесс поиска наилучшей модели с учетом данных.

Учитывая упрощение теоремы Байеса до пропорциональной величины, мы можем использовать ее для оценки пропорциональной гипотезы и параметров (тета), которые объясняют наш набор данных (X), выраженный как: