В предыдущей статье мы узнали о градиентном спуске и о том, как его использовать для минимизации функции стоимости. Сегодня мы узнаем больше о применении градиентного спуска, когда речь идет о модели линейной регрессии.
Для применения градиентного спуска требуется ключевой термин:
{термин частной производной}. Мы можем написать как:
Таким образом, искомый ключевой термин оценивается следующим образом:
Частные производные от «J(θ0,θ1)» для j=0 и j=1 вычисляются, как показано на рисунке выше, с использованием некоторого многомерного исчисления. Теперь, как обычно, мы должны использовать алгоритм градиентного спуска и повторять его, пока не достигнем минимума (сходимости), как показано:
Поскольку мы знаем, что функция стоимости является чашеобразной (выпуклой) функцией, у нее нет ни локальных минимумов, ни локальных оптимумов, а есть один общий глобальный минимум (который является самой нижней частью чашеобразной функции). .
Таким образом, градиентный спуск всегда будет сходиться к общим глобальным минимумам в выпуклых функциях такого типа.
Теперь мы построим функцию стоимости и градиентный спуск следующим образом:
Наконец, функция гипотезы наилучшим образом соответствует входным данным (на левом графике), когда точка лежит на правом графике в центре каждой концентрической окружности (т. е. в глобальных оптимумах).
Иногда описанную выше операцию также называют пакетным градиентным спуском. Термин «пакетный» относится к тому факту, что на каждом этапе градиентного спуска учитываются все обучающие примеры.
Чтобы пояснить далее, мы просуммируем приведенное выше выражение до m. Это означает, что мы принимаем во внимание всю партию обучающих примеров.
Кроме того, следует упомянуть, что существуют и другие (непакетные) версии градиентного спуска, которые учитывают меньшие подмножества обучающих наборов, но не полный обучающий набор.
Если вам понравилась история и вы хотите оценить нас, вы можете хлопать сколько угодно. Оцените нашу работу своим конструктивным комментарием, а также вы можете связаться с нами по….
Ютуб: https://www.youtube.com/channel/SocietyOFAI
LinkedIn: https://www.linkedin.com/company/society-of-ai
Фейсбук: https://www.facebook.com/societyofai/
Веб-сайт: https://www.societyofai.in/
