Функция активации в машинном обучении

Довольно сложно описать функции активации без некоторой ссылки на автоматическое обучение, потому что это именно их применение, а также логическое обоснование собирательного термина. Они помогают нам сфокусировать обучение в потоке функциональных преобразований. Постараюсь упростить описание.

Очень просто, функция активации - это фильтр, который изменяет выходной сигнал (серию значений) с его нынешнюю форму в ту, которую мы находим более «активной» или полезной для поставленной цели.

Например, очень простой функцией активации может быть пороговый балл при поступлении в колледж. В моем колледже требуется набрать не менее 500 баллов по каждому разделу SAT. Таким образом, любой кандидат проходит через этот фильтр: если он не соответствует этому требованию, «балл при поступлении» обнуляется. Это «активирует» других кандидатов.

Еще одна распространенная функция - это сигмоид, который вы изучали: идея состоит в том, чтобы отличить явно превосходные значения (сопоставить их с 1) от явно нежелательных значений (сопоставить их с -1) и сохранить способность различать или узнавать о тех, которые находятся в середину (сопоставьте их с чем-нибудь с градиентом, полезным для дальнейшей работы).

Третий тип может подчеркивать различия в верхней части спектра - скажем, футбольные голы и передачи. Пытаясь оценить относительный уровень мастерства игроков, мы должны учитывать: является ли разница между 15 и 18 голами за сезон такой же, как между 0 и 3 голами? Некоторые утверждают, что чем больше число, тем выше разница в навыках подсчета очков: чем больше вы набираете очков, тем больше противники сосредотачиваются, чтобы вас остановить. Кроме того, мы могли бы принять во внимание, что в метрике есть небольшой «шум»: первые два гола в сезоне на самом деле мало что демонстрируют.

В этом случае мы можем выбрать функцию активации для целей g, таких как

1.2 ^ max(0, g-2)

Затем эта оценка будет добавлена ​​к другим факторам, чтобы получить метрику для игрока.

Это помогает вам что-то объяснить?

Функции активации действительно важны для искусственной нейронной сети, чтобы изучить и понять что-то действительно сложное и нелинейное комплексное функциональное сопоставление между входами и переменной ответа. Они вводят нелинейные свойства в нашу Сеть. Их основная цель - преобразовать входной сигнал узла в A-NN к выходному сигналу. Этот выходной сигнал теперь используется как вход на следующем уровне в стеке.

В частности, в A-NN мы вычисляем сумму произведений входов (X) и их соответствующих весов (W) и применяем к нему функцию активации f (x), чтобы получить выходные данные этого слоя и передать их в качестве входных данных следующему. слой.

Подробнее здесь

Проще говоря, функция активации - это функция, которая добавляется в искусственную нейронную сеть, чтобы помочь сети изучить сложные шаблоны в данных. При сравнении с нейронной моделью, которая присутствует в нашем мозгу, функция активации в конце решает, что должно быть запущено в следующий нейрон. Именно это и делает функция активации в ИНС. Он принимает выходной сигнал из предыдущей ячейки и преобразует его в некоторую форму, которую можно использовать в качестве входных данных для следующей ячейки.