Как доказать, что relu (выпрямленный линейный блок) является нелинейной функцией?
Что такое Relu?
Relu или Rectified linear unit - функция активации, используемая в нейронных сетях для обучения моделей. Основная цель использования функции активации - добавить нелинейности в сеть.
Relu Equation : y = max(0, x) ---> eq (1) if x <=0, y = 0 else y = x
В линейной алгебре линейная функция - это отображение функций между двумя векторами, если она выполняет сложение векторов и скалярное умножение.
f(x+y) = f(x) + f(y) ---> eq (2) f(ax) = af(x) ---> eq (3)
Если Relu является линейной функцией, она должна удовлетворять уравнению 2.
Let x=3 and y=-5, f = Relu activation function LHS = f(x+y) = f(3-5) = f(-2) = 0 ---> According to eq 1 RHS = f(x) + f(y) = f(3) + f(-5) = 3 + 0 ---> According to eq 1 = 3 LHS ≠ RHS
Следовательно, Relu - нелинейная функция
Сказать спасибо хлопком :)