Сегодня мы продолжаем более глубокое изучение Положительно Определенной Матрицы. Более конкретно, мы узнаем, как определить, является ли матрица положительно определенной или нет. Кроме того, мы узнаем геометрическую интерпретацию такой положительной определенности, которая действительно полезна в машинном обучении, когда дело доходит до понимания оптимизации.
На всякий случай, если вы пропустили последний рассказ об определении положительно определенной матрицы, вы можете проверить его снизу.
Материалы, освещенные в этом рассказе:
- Тесты для проверки положительной определенности
- Что такое квадратичная форма и как ее можно использовать для проверки положительной определенности
- Геометрическая интерпретация положительной определенности
- Как сделать положительно определенную матрицу с несимметричной матрицей
Что касается материалов и структур, я слежу за знаменитыми и замечательными лекциями доктора Гилберта Стрэнга из Массачусетского технологического института, и вы можете увидеть его лекцию по сегодняшней теме из лекции 27.
Хорошо, достаточно сказано, приступим.
Тесты для проверки положительной определенности
Допустим, у вас есть матрица и вы хотите определить, является ли матрица положительно определенной или нет. Это поможет вам решить проблемы оптимизации, разложить матрицу на более упрощенную матрицу и т. Д. (Я расскажу об этих приложениях позже).
Исходя из предыдущей истории, вам нужно было проверить 3 условия на основе определения:
Матрица должна быть
- 1) simric (симметричный)
- 2) все собственные значения положительны
- 3) все субдетерминанты также положительны
Вы определенно можете проверить одно за другим, но, очевидно, есть более простой и практичный способ проверить это. И это 4-й способ.
И это связано с чем-то, что называется «квадратичной формой».
Что такое квадратичная форма и как ее можно использовать для проверки положительной определенности
Во-первых, давайте определим и проверим, что такое квадратичная форма.
Вы уже должны знать квадратичную форму, развернутую в уравнение, и выше это просто еще один способ представления ее в виде линейной алгебры.
Итак, чтобы показать, что это, по сути, одно и то же, давайте попробуем записать квадратичную форму в матричной форме того, что вы видели раньше.
Не так уж и сложно, а?
Чтобы проверить, является ли матрица положительно определенной или нет, вам просто нужно вычислить приведенную выше квадратичную форму и проверить, является ли значение положительным или нет.
Что будет, если он = 0 или отрицательный?
На самом деле это хороший вопрос, и, основываясь на признаках квадратичной формы, вы можете разделить определенность на 3 категории:
- Положительно определенный if (квадратичная форма) ›0
- Положительно полуопределенный, если (квадратичная форма) ≥ 0
- Отрицательно определенное if (Квадратичная форма) ‹0
Геометрическая интерпретация положительной определенности
Давайте попробуем составить понятие положительной определенности, поняв его значение с геометрической точки зрения.
Помните, я говорил о том, что определенность полезна, когда дело доходит до понимания оптимизации машинного обучения?
Это потому, что положительная определенность может сказать нам о «плоскости» матрицы.
Если вы знакомы с оптимизацией машинного обучения, вы должны знать, что вся цель машинного обучения - настроить веса так, чтобы потери были минимальными.
Потери могут быть любыми, но просто чтобы дать вам пример, подумайте о среднеквадратической ошибке (MSE) между целевым значением (y) и вашим прогнозируемым значением (y_hat). Вы хотите минимизировать ошибку между этими двумя значениями, чтобы ваш прогноз был близок к целевому, а это означает, что у вас есть хорошая модель, которая может дать вам довольно хороший прогноз.
Для этого существуют различные алгоритмы оптимизации для настройки ваших весов. Одним из самых основных, но все еще используемых методов является стохастический градиентный спуск (SGD).
С помощью SGD вы собираетесь вычислить градиент потерь (например, MSE) и использовать его в качестве ориентира (направления) для спуска по наклону плоскости оптимизации, чтобы достичь нижней части плоскости. Низ плоскости в основном указывает на самую низкую возможную точку потерь, что означает, что ваш прогноз находится в оптимальной точке, что дает вам наименьшую возможную ошибку между целевым значением и вашим прогнозом.
Однако самолет мог иметь другую форму, и вот несколько простых примеров.
Если матрица положительно определена, то это здорово, потому что вы гарантированно получите точку минимума. Но проблема возникает, когда ваша матрица является положительной полуопределенной, как во втором примере. У него есть несколько стабильная точка, называемая седловой точкой, но большую часть времени она просто соскальзывает с седловой точки, чтобы продолжать спускаться в ад, где оптимизация становится сложной задачей.
В качестве упражнения вы также можете попробовать подумать о том, что происходит, когда матрица отрицательно определена, и что произойдет, если вы попытаетесь оптимизировать для такого случая.
Чтобы дать вам конкретный пример положительной определенности, давайте рассмотрим простой пример матрицы 2 x 2.
Теперь вопрос состоит в том, чтобы определить, положительна ли функция «f» для всех x, кроме ее нулей.
В качестве примера можно привести следующий случай.
Вы можете попробовать сами. Придумайте любые x1 и x2, каждый из которых удовлетворяет следующему. Попробуйте другие уравнения и посмотрите, что получится, если вы введете значения в квадратичную функцию.
Как сделать положительно определенную матрицу с несимметричной матрицей
Итак, я надеюсь, что вы уже поняли некоторые преимущества положительно определенной матрицы.
Проблема в том, что в большинстве случаев матрица не всегда симметрична. Можно ли использовать положительную определенность, когда матрица не симметрична?
Ответ - да!
Вы можете просто умножить несимметричную матрицу на ее транспонирование, и произведение станет симметричным, квадратным и положительно определенным!
Резюме
Обобщить:
- Тесты для проверки положительной определенности
Просто вычислите квадратичную форму и проверьте ее положительность.
- Что такое квадратичная форма и как ее можно использовать для проверки положительной определенности
Если квадратичная форма ›0, то она положительно определена.
Если квадратичная форма ≥ 0, то она положительно полуопределенная.
Если квадратичная форма равна ‹0, то она отрицательно определена.
- Геометрическая интерпретация положительной определенности
Положительно определенный - это чашеобразная поверхность. Положительный полуопределенный - это седло.
- Как сделать положительно определенную матрицу с несимметричной матрицей
Просто умножьте на собственное транспонирование.
Надеюсь, это поможет! Увидимся в следующий раз!
