Наконец, давайте освежим последний набор математических понятий, прежде чем погрузиться в мир реализации этих инструментов, так называемого машинного обучения или более гламурного термина «искусственный интеллект».

ФУНКЦИИ(1D):
Во-первых, мы все знаем, что такое функции. По сути, это преобразование одной переменной в другую. Вы даете одно значение в качестве входных данных функции, а она выдает другое значение. в зависимости от отношения между ними.
F(x) = y , где x является входом, а y является выходом, а F() является отношением между этими двумя.

ФУНКЦИИ (3D):

  • 3D-функции, где ввод является двумерным, а вывод представлен третьим измерением.
  • Входные данные могут быть векторными, а выходные данные могут быть векторными, а пока допустим, что это скаляр. Через некоторое время мы увидим векторные функции.
  • Контурные графики — это удобный способ представления трехмерных функций, где каждая линия представляет значение.
    здесь на диаграмме розовые линии расположены далеко друг от друга по сравнению с синими и зелеными линиями. более плоская область, тогда как синие и зеленые линии представляют крутую поверхность.

ВЕКТОРНЫЕ ПОЛЯ:

  • Векторное поле - это функции, которые принимают скаляры в качестве входных данных и выдают векторы, это будут n-мерные векторы. Для наглядности здесь у нас есть пример двумерного векторного поля.
  • В физике мы используем векторные поля для описания потоков жидкости, потоков электростатического заряда , дивергенции , завихрений и т. д.Можно сказать, что векторные поля — это глаза физика.

ФУНКЦИИ КАК ПРЕОБРАЗОВАНИЯ:

  • почему мы подчеркиваем факт преобразования как функции, потому что понимание размерных изменений или производных изменений в функции более интуитивно понятно с точки зрения физического преобразования. Например, если вы проходите через данную двумерную функцию, которая определяется плоскостью из (t, s), он был изменен на трехмерную круглую трубу, которую было бы трудно понять, если бы я сказал, что производная первого элемента функции по s равна 2,3. Это не имеет никакого интуитивного смысла.

"Преобразования позволяют лучше понять размерные изменения".

ЧАСТИЧНЫЕ ПРОИЗВОДНЫЕ:

  • Мы понимаем производные как скорость изменения переменной по отношению к другой переменной.
  • С точки зрения функций высокой размерности с несколькими входами и несколькими выходами у нас есть понятие частных производных.
  • Частные производные очень похожи на ванильную производную, за исключением небольшого изменения в определении, что мы сохраняем все входные переменные постоянными и дифференцируем функцию только по одной переменной за раз.
  • Как вы можете видеть на рисунке, у нас есть небольшой сдвиг h в направлении x, во-первых, при сохранении постоянного элемента y, а во-вторых, сдвиг по оси y, при сохранении постоянного x. Это понятие можно расширить до n измерений.

ОПЕРАТОР ГРАДИЕНТА:

  • Мы определяем оператор градиента для многомерной функции. Мы берем скалярное произведение оператора градиента с функцией, чтобы найти производную функции по каждому из измерений.

ПРОИЗВОДНАЯ ПО ​​НАПРАВЛЕНИЮ:

  • Это понятие определения производной функции по вектору, то есть скорости изменения функции по конкретному вектору.
  • Если вы видите, что формула имеет вид w *(grad(f)), где w — вектор, grad(f) — градиент функции f, а * — скалярное произведение между ними.
  • Используя понятие производной по направлению, мы также доказываем, что градиентный спуск указывает направление наискорейшего подъема.
  • На приведенном выше рисунке показана причина, по которой градиентный спуск на самом деле является точкой наибольшего подъема.Он говорит, что скалярное произведение между w и grad(f) будет максимальным, только если w указывает в направлении точки, в которой вычисляется f. . Следовательно, это должна быть сама точка.
    Отсюда волшебство, что когда мы вычисляем градиент функции в точке, он указывает в направлении самого крутого подъема.

КРИВИЗНЫ И РАСКОЛОЖЕНИЕ:

  • Кривизны определяют, насколько быстро меняется скорость изменения чего-либо (по сути, вторая производная).
  • Кривизна обратно пропорциональна радиусу кривизны, меньший радиус означает более быстрое изменение, больший радиус означает меньшее изменение.
  • Дивергенция — это одно из физических свойств векторных полей, которое мы обсуждали выше, и почему они важны, так это то, что помогает нам понять концепцию максимумов и минимумов, то есть холмов и долин.
  • Дивергенция положительна, если векторы большие по величине наружу и малы внутрь. Точно так же дивергенция равна -ve, если векторы меньше в направлении наружу и больше внутрь, физическая аналогия будет током.

ЛАПЛАСОВЫЕ И ГАРМОНИЧЕСКИЕ ФУНКЦИИ:

  • Лапласиан помогает нам понять, насколько максимальна точка или насколько минимальна точка.
  • Что касается дивергенции, которую мы видели выше, точка высокой дивергенции означает, что все близлежащие точки больше, чем сама эта точка, это долина.
  • Низкое расхождение вокруг точки означает, что все значения вокруг точки меньше, чем эта точка, и, следовательно, это холм.
  • Лапласиан - это дивергенция (град(f))
  • Гармонические функции представляют собой область, где лапласианы могут быть нулевыми, т. е. значение графика везде почти одинаково, это может быть плато или седловые точки (до этого дойдет позже).

ЛОКАЛЬНАЯ ЛИНЕЙНОСТЬ И КВАДРАТИЧНОЕ ПРИБЛИЖЕНИЕ

  • Нахождение линейности вокруг точки, даже если в преобразовании нет линейности. Если мы слегка подтолкнем увеличенную область пространства, мы можем найти некоторую линейность.
  • Матрица Якоба в основном представляет, как выглядит преобразование, когда вы увеличиваете масштаб области определенной точки.
  • подобно линейным приближениям, у нас есть лучшее приближение многомерных функций.
  • Линейная аппроксимация имеет касательные плоскости, квадратичная аппроксимация имеет квадратичные плоскости для аппроксимации значений функции вокруг области. Подобно матрице Якоби, у нас была матрица Гессе, которая придает смысл этим квадратичным приближениям вокруг точки.

ПОИСК ТОЧЕК МАКСИМУМА И МИНИМУМА

  • Сначала найдите все критические точки
  • Выполните тест второй производной, но этого недостаточно, когда мы рассматриваем случай функции высокой размерности, потому что у нас есть седловые точки, чтобы понять, что такое седловые точки, вы можете взглянуть на одну из статей о дилемме многомерного исчисления.
  • Таким образом, достаточное условие для определения того, является ли точка точкой максимума или минимума или седловой точкой, упомянуто выше на рисунке. точки.

На этом краткий обзор концепций многомерного исчисления заканчивается. Здесь я затронул важные темы, хотя одной из наиболее важных тем, которую я не затронул, была тема многомерного цепного правила, которое является сердцем алгоритма обратного распространения в нейронная сеть. Я перейду к этой теме, когда разработаю для вас сети.

Остальное, я дал вам достаточно информации, чтобы вы могли копнуть глубже и расширить свой кругозор.

Быть в курсе :)