В целом специалист по данным должен иметь общее представление о следующих концепциях, связанных с ядрами в машинном обучении:
1. Что такое ядра?
2. Типы ядер.
3. Назначение ядер.
4. Выбор ядер.
5. Настройка гиперпараметров.
6. Ограничения ядер.
Прежде чем мы обсудим вышеизложенное, связанное с ядрами в машинном обучении, давайте сначала рассмотрим несколько основных понятий: Машина опорных векторов, Sвекторы опорных векторов и Линейный и нелинейный методы. -линейно разделимые данные.
Машина опорных векторов
Машина опорных векторов (SVM) — это алгоритм обучения с учителем, используемый для классификации и регрессионного анализа. Основная идея SVM состоит в том, чтобы найти гиперплоскость, которая разделяет данные на разные классы с максимальным запасом. Гиперплоскость выбирается таким образом, чтобы максимизировать расстояние между ближайшими точками данных (называемыми опорными векторами) из любого класса [1].
Векторы поддержки
Опорные векторы — это точки данных, которые лежат ближе всего к гиперплоскости и являются наиболее важными при определении гиперплоскости. Если опорные векторы изменить, гиперплоскость также изменится, поэтому опорные векторы играют решающую роль в SVM. Эти опорные векторы определяют границу между классами и, как следствие, оказывают наибольшее влияние на точность модели [1].
Линейно и нелинейно разделяемые данные
Линейно разделяемые данные — это данные, которые могут быть разделены на разные классы или категории одной прямой линией или гиперплоскостью в пространстве признаков. То есть точки данных, принадлежащие разным классам, можно разделить линией таким образом, чтобы по одну сторону линии не было точек из разных классов. Другими словами, точки данных могут быть идеально разделены линейной границей [4].
С другой стороны, нелинейно разделяемые данные — это данные, которые нельзя разделить на разные классы одной прямой или гиперплоскостью в пространстве признаков. Это означает, что точки данных, принадлежащие разным классам, перекрываются в пространстве признаков, и линейная граница не может идеально разделить точки данных на разные классы. В этих случаях требуется нелинейная граница для разделения данных на разные классы [2].
Например, рассмотрим набор данных, содержащий два класса точек данных, "A" и "B". Если точки данных можно разделить на два класса одной прямой линией, то данные линейно разделимы. Если точки данных не могут быть разделены на два класса одной прямой линией, то данные нелинейно разделимы.
После понимания вышеизложенных концепций теперь легче связать и понять ядра.
Что такое ядра?
Алгоритмы машинного обучения полагаются на математические функции, называемые «ядрами», для прогнозирования на основе входных данных. Ядро — это математическая функция, которая отображает входные данные в многомерное пространство, где шаблоны легче идентифицировать и классифицировать [6].
Методы ядра:
Методы ядра — это класс алгоритмов машинного обучения, которые используют ядра для преобразования входных данных в многомерное пространство. Преобразованные данные затем используются для прогнозирования новых данных или для разделения данных на разные классы. Методы ядра особенно полезны для данных, которые не являются линейно разделимыми в исходном пространстве. Примеры ядерных методов включают SVM, анализ основных компонентов ядра (PCA) и оценку плотности ядра [7–9].
Таким образом, ядра и методы ядра являются важными понятиями в машинном обучении, особенно для задач, связанных с нелинейными отношениями между переменными. Преобразовывая входные данные в многомерное пространство, ядра позволяют алгоритмам машинного обучения фиксировать и моделировать нелинейные отношения, повышая точность и производительность.
Трюк с ядром:
Уловка ядра — это метод, используемый в методах ядра, чтобы избежать необходимости явно вычислять отображение входных данных в многомерное пространство. Вместо явного вычисления отображения, трюк с ядром использует скалярное произведение между входными данными в исходном пространстве для вычисления скалярного произведения между отображенными данными в многомерном пространстве. Это позволяет выполнять вычисления более эффективно, без необходимости вычислять явное отображение [10–12].
Математика трюка с ядром основана на концепции воспроизведения ядерных гильбертовых пространств (RKHS). RKHS – это гильбертово пространство, которое полностью характеризуется своим скалярным произведением, также известным как функция ядра. В машинном обучении функция ядра отображает входные данные в многомерное пространство признаков, где можно использовать линейную границу для разделения данных на разные классы.
Ключевая математическая идея, лежащая в основе трюка с ядром, заключается в том, что скалярное произведение между отображаемыми данными в многомерном пространстве признаков может быть выражено через скалярное произведение между входными данными в исходном пространстве. Это достигается за счет использования положительно определенной функции ядра k(x,y), которая удовлетворяет свойству:
k(x,y) = <φ(x), φ(y)>
где φ(x) — отображение входных данных в многомерное пространство признаков, а ‹.,.› — скалярный продукт в RKHS.
Используя трюк с ядром, можно избежать необходимости вычислять явное отображение φ(x), а скалярное произведение между отображаемыми данными в многомерном пространстве признаков можно вычислить, используя только скалярное произведение между входными данными в исходном пространстве. космос. Это приводит к значительной экономии вычислительных ресурсов и повышению производительности ядерных методов [14–17].
Типы ядер
Существует много типов ядер, которые можно использовать в машинном обучении, в том числе:
1. Линейные ядра
2. Полиномиальные ядра
3. Ядра Гаусса (радиальная базисная функция)
4. Сигмовидные ядра
5. Лапласовы ядра
6. Ядра косинусного сходства
7. Ядра пересечения гистограмм
8. Гиперболические ядра
В этой статье мы обсудим различные типы ядер, используемых в машинном обучении, с математикой, стоящей за ними, на примере и сценариях, в которых каждый из них обычно используется.
1. Линейные ядра
Линейные ядра — простейший тип ядра, используемый в основном для задач линейной классификации. Линейное ядро отображает входные данные в многомерное пространство путем умножения входных данных на весовую матрицу. Полученный результат затем передается через линейную функцию активации, которая разделяет данные на два или более классов на основе границы решения. Линейное ядро идеально подходит для линейных задач, таких как логистическая регрессия или методы опорных векторов (SVM).
Линейное ядро подходит для использования, когда данные линейно разделимы. Мы можем выразить, что линейное ядро является функцией подобия, которая измеряет скалярное произведение между двумя векторами в многомерном пространстве признаков. Математически это можно выразить так:
K(x, y) = <x, y>
где ‹x, y› обозначает скалярное произведение векторов x и y, а K(x, y) — показатель сходства между x и y [18].
Например, допустим, у нас есть два двумерных вектора x = [1, 2] и y = [3, 4]. Их скалярный продукт можно рассчитать как:
<x, y> = 1 * 3 + 2 * 4 = 3 + 8 = 11
Таким образом, линейная оценка сходства ядра между x и y будет равна 11.
2. Полиномиальные ядра
Полиномиальные ядра аналогичны линейным ядрам, но они могут фиксировать более сложные закономерности в данных. Они отображают входные данные в многомерное пространство, преобразовывая их в многочлен заданной степени. Преобразованные данные затем проходят через линейную функцию активации для классификации данных. Полиномиальные ядра часто используются для нелинейных задач, таких как полиномиальная регрессия или SVM.
Уравнение для полиномиального ядра задается следующим образом:
K(x, x’) = (1 + x.x’)^d
где x и x’ — входные признаки, а d — степень многочлена. Более высокая степень приводит к более сложной границе решения [19].
Например, рассмотрим двумерное пространство объектов с входными объектами x = [x1, x2]. Полиномиальная функция ядра 3-й степени преобразует эти функции в 6-мерное пространство следующим образом:
K(x, x’) = (1 + x1x’1 + x2x’2)³ = (1 + x1x’1 + x2x’2)(1 + x1x’1 + x2x’2)(1 + x1x’1 + x2x’2) = 1 + 3(x1x’1 + x2x’2) + 6x1x’1x2x’2 + 3(x1²x’1² + x2²x’2²) + x1³x’1³ + x2³x’2³
Новые функции представляют собой комбинацию оригинальных функций и их возможностей.
3. Ядра Гаусса (радиальная базисная функция)
Ядра Гаусса, также известные как ядра радиальной базисной функции (RBF), используются для задач нелинейной классификации. Они отображают входные данные в многомерное пространство, преобразовывая их в распределение Гаусса. Преобразованные данные затем проходят через нелинейную функцию активации для классификации данных. Ядра Гаусса обычно используются для задач классификации, которые включают нелинейные границы, такие как деревья решений или нейронные сети.
Математическая формула ядра Гаусса имеет вид:
k(x, x’) = exp(-||x — x’||² / 2σ²)
где x и x’ — две сравниваемые точки, ||x — x’|| – евклидово расстояние между точками, σ – стандартное отклонение, определяющее форму кривой Гаусса [20].
Например, допустим, у нас есть две точки данных в двумерном пространстве: x = (1, 2) и x’ = (3, 4). Мы можем вычислить ядро Гаусса между этими двумя точками, используя приведенную выше формулу:
k(x, x') = exp(-||(1, 2) — (3, 4)||² / 2σ²) = exp(-((3–1)² + (4 –2)²) / 2σ²) = exp(-5 / 2σ²)
Значение σ определяет форму кривой Гаусса и общее значение ядра. Большее значение σ приводит к более широкой кривой Гаусса и меньшему значению ядра, в то время как меньшее значение σ приводит к более узкой кривой Гаусса и большему значению ядра.
По сути, ядро Гаусса измеряет, насколько похожи две точки, вычисляя нормальное распределение между ними. Точки, расположенные ближе друг к другу, приведут к большему значению ядра, что указывает на более высокое сходство, а точки, расположенные дальше друг от друга, приведут к меньшему значению ядра, что указывает на более низкое сходство.
4. Сигмовидные ядра
Сигмовидные ядра используются для задач бинарной классификации, где цель состоит в том, чтобы разделить данные на два класса. Они отображают входные данные в многомерное пространство, преобразовывая их в сигмовидную функцию. Преобразованные данные затем проходят через сигмовидную функцию активации для классификации данных. Сигмовидные ядра часто используются для логистической регрессии или SVM.
Сигмовидное ядро — это тип радиальной базисной функции, которая измеряет сходство между двумя точками в многомерном пространстве путем преобразования скалярного произведения между точками в нелинейное пространство. Математическая формула для сигмовидного ядра определяется следующим образом:
k(x, x’) = tanh(α * x * x’ + r)
где x и x’ — две сравниваемые точки, α — скаляр, определяющий крутизну сигмовидной кривой, а r — член смещения, который сдвигает кривую влево или вправо [21, 22].
Например, допустим, у нас есть две точки данных в двумерном пространстве: x = (1, 2) и x’ = (3, 4). Мы можем рассчитать сигмовидное ядро между этими двумя точками, используя приведенную выше формулу:
k(x, x') = th(α * (1, 2) * (3, 4) + r) = th(α * (1 * 3 + 2 * 4) + r) = танх(α * 11 + r)
Значение α определяет крутизну сигмовидной кривой, а значение r определяет положение кривой. Большее значение α приводит к более крутой сигмовидной кривой, а меньшее значение α приводит к более пологой сигмовидной кривой. Положительное значение r сдвигает кривую вправо, а отрицательное значение r сдвигает кривую влево.
По сути, сигмовидное ядро измеряет сходство между двумя точками, преобразовывая их скалярное произведение в нелинейное пространство. Точки с высокой корреляцией приведут к большему значению ядра, что указывает на более высокое сходство, в то время как точки, которые не коррелированы, приведут к меньшему значению ядра, что указывает на более низкое сходство.
5. Ядра Лапласа
Ядра Лапласа, также известные как ядра Лапласа Гаусса (LoG), используются в деревьях решений или нейронных сетях, таких как обработка изображений для обнаружения границ. Лапласиан функции Гаусса определяется как вторая производная функции Гаусса. Ядро Лапласа — это двумерный фильтр, применяемый к изображению путем свертки, где значения в матрице ядра — это коэффициенты лапласиана функции Гаусса. Целью ядра Лапласа является вычисление второй производной интенсивности изображения, что приводит к пересечениям нуля, которые соответствуют краям изображения. Ядро Лапласа обычно представляет собой квадратную матрицу нечетных размеров, например, 3x3 или 5x5, симметричную относительно центрального элемента.
Ядра Лапласа используются для задач нелинейной классификации. Они отображают входные данные в многомерное пространство, преобразовывая их в распределение Лапласа. Преобразованные данные затем проходят через нелинейную функцию активации для классификации данных. Дана математическая формула ядра Лапласа:
k(x, x’) = exp(-||x — x’|| / σ)
где x и x’ — две сравниваемые точки, ||x — x’|| — евклидово расстояние между точками, σ — скаляр, определяющий масштаб ядра [23, 24].
Например, допустим, у нас есть две точки данных в двумерном пространстве: x = (1, 2) и x’ = (3, 4). Мы можем вычислить ядро Лапласа между этими двумя точками, используя приведенную выше формулу:
k(x, x') = exp(-||(1, 2) — (3, 4)|| / σ) = exp(-sqrt((3–1)² + (4 –2)²) / σ) = exp(-sqrt(5) / σ)
Значение σ определяет масштаб ядра, при этом большее значение σ приводит к большему значению ядра, а меньшее значение σ приводит к меньшему значению ядра.
6. Ядра косинусного подобия
Косинусные ядра — это меры сходства, которые можно использовать для сравнения двух векторов в многомерном пространстве признаков. Косинусные ядра определяются как функции, которые принимают на вход два вектора и возвращают скалярное значение, представляющее косинус угла между векторами.
Косинусное сходство между двумя векторами x и y в многомерном пространстве признаков определяется как:
K(x, y) = (x * y) / (||x|| * ||y||)
где (x * y) — скалярное произведение векторов x и y, а ||x|| и ||у|| — евклидовы нормы векторов.
Косинусное подобие находится в диапазоне от -1 до 1, где 1 указывает, что векторы идентичны (имеют угол 0°), 0 указывает, что векторы ортогональны (имеют угол 90°), а -1 указывает, что векторы диаметрально противоположны (имеют угол 180°) [25–27].
Например, рассмотрим два вектора x и y в трехмерном пространстве признаков, где x = [1, 2, 3] и y = [2, 3, 4]. Косинусное сходство между x и y можно вычислить следующим образом:
K(x, y) = (x * y) / (||x|| * ||y||) = (1 * 2 + 2 * 3 + 3 * 4) / (sqrt( 1² + 2² + 3²) * sqrt(2² + 3² + 4²)) = 0,97
Итак, в этом примере ядро косинуса сравнит два вектора x и y и вернет скалярное значение 0,97, что указывает на высокую степень сходства между векторами.
7. Ядра пересечения гистограмм
Ядра пересечения гистограмм — это тип функции ядра, которую можно использовать в машинном обучении для сравнения гистограмм, представляющих распределение значений в наборе данных. Ядро пересечения гистограмм измеряет сходство между двумя гистограммами, вычисляя площадь их перекрытия.
Ядро пересечения гистограммы определяется следующим образом:
k(h1, h2) = ∑min(h1(i), h2(i))
где h1 и h2 — гистограммы, а h1(i) и h2(i) — значения гистограмм в ячейке i [28, 29].
Например, давайте рассмотрим две гистограммы h1 и h2, где h1 представляет распределение значений для признака A, а h2 представляет распределение значений для признака B. Ядро пересечения гистограммы будет вычислять сходство между h1 и h2 путем вычисления площади перекрытия между ними. Если две гистограммы очень похожи, то площадь перекрытия будет большой, что указывает на высокую корреляцию признаков. С другой стороны, если две гистограммы сильно различаются, то площадь перекрытия будет небольшой, что указывает на низкую корреляцию признаков.
8. Гиперболические ядра
Математика гиперболических ядер основана на гиперболических функциях. Гиперболическая функция — это тип математической функции, которая моделирует многие важные физические и биологические процессы, в том числе рост и убыль населения, распространение болезней, диффузию тепла и других физических величин.
В контексте машинного обучения гиперболические ядра часто используются в качестве меры сходства между двумя экземплярами в пространстве признаков. Функция ядра принимает в качестве входных данных два экземпляра и выводит скалярное значение, указывающее на сходство между ними.
Простым примером гиперболической функции ядра является синус-гиперболическое ядро, которое определяется как:
K(x, y) = sh(αx^Ty + β)
где α и β — гиперпараметры, управляющие формой ядра, а x^Ty — скалярное произведение двух экземпляров x и y. Скалярный продукт измеряет сходство между двумя экземплярами, подсчитывая количество общих признаков, которые у них есть. Затем к этому скалярному произведению применяется гиперболическая функция синуса, чтобы получить окончательную оценку сходства.
В общем, выбор гиперболического ядра будет зависеть от конкретного приложения и характера анализируемых данных. Некоторые гиперболические ядра могут лучше подходить для определенных типов данных, в то время как другие могут работать плохо. Важно тщательно продумать выбор функции ядра при использовании методов машинного обучения и поэкспериментировать с различными функциями ядра, чтобы определить, какая из них лучше всего подходит для данной задачи [30, 31].
Когда и где используется каждое ядро?
Ядра обычно используются в различных алгоритмах машинного обучения, особенно в SVM и методах ядра. Вот краткий обзор того, когда и где используется каждое ядро:
Линейное ядро: линейное ядро — это простейшее ядро, которое используется, когда данные линейно разделимы. Он обычно используется для простых задач бинарной классификации.
Полиномиальное ядро: полиномиальное ядро используется, когда данные не являются линейно разделимыми. Он отображает входные данные в многомерное пространство признаков, где можно применить линейный классификатор.
Ядро радиальной базисной функции (RBF). Ядро RBF — это широко используемое нелинейное ядро, эквивалентное ядру Гаусса. Он используется для задач нелинейной классификации и регрессии.
Сигмовидное ядро: сигмовидное ядро используется для задач бинарной классификации и аналогично классификатору логистической регрессии. Он обычно не используется по сравнению с другими ядрами.
Ядро Лапласа. Ядро Лапласа используется для задач нелинейной регрессии и аналогично ядру Гаусса. Это особенно полезно для наборов данных со сложными шаблонами.
Ядро косинусного сходства. Косинусное ядро сходства используется для задач классификации текста, когда сходство между двумя документами вычисляется на основе косинуса угла между их векторами в многомерном пространстве признаков.
Ядро пересечения гистограмм. Ядро пересечения гистограмм используется для задач классификации изображений, когда сходство между двумя изображениями вычисляется на основе пересечения их гистограмм.
Гиперболическое ядро: гиперболическое ядро используется для задач нелинейной регрессии и аналогично ядрам Гаусса и Лапласа. Это особенно полезно для наборов данных со сложными шаблонами.
Реализовать функцию ядра в Python
В качестве примера, вот пример кода для использования ядра радиальной базисной функции (RBF) в Python с использованием библиотеки scikit-learn:
import numpy as np
from sklearn.svm import SVC
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
# Load the iris dataset
iris = load_iris ()
X = iris.data
y = iris.target
# Split the data into training and testing sets
X_train, X_test, y_train, y_test = train_test_split (X, y, test_size=0.2)
# Train the SVM model with the RBF kernel
clf = SVC (kernel='rbf')
clf.fit (X_train, y_train)
# Evaluate the model on the test set
acc = clf.score (X_test, y_test)
print ("Accuracy:", acc)
Выбор ядер
Выбор ядра зависит от характера проблемы, типа данных и доступных вычислительных ресурсов. Важно поэкспериментировать с разными ядрами, чтобы определить лучшее для данной проблемы.
Выбор ядра в машинном обучении может сильно повлиять на производительность и точность модели. Например:
1. Линейные ядра идеально подходят для линейных задач.
2. Полиномиальные ядра для нелинейных задач.
3. Ядра Гаусса для задач нелинейной классификации.
4. Сигмовидные ядра для задач бинарной классификации.
5. Ядра Лапласа для задач нелинейной классификации.
Важно понимать сильные и слабые стороны каждого типа ядра, чтобы принять обоснованное решение о том, какое из них использовать для данной проблемы.
Настройка гиперпараметров
На производительность алгоритма на основе ядра также могут влиять значения гиперпараметров, связанных с ядром. Настройка гиперпараметров — это процесс поиска оптимальных значений этих гиперпараметров для максимизации производительности алгоритма. Это часто делается с использованием таких методов, как перекрестная проверка или поиск по сетке.
Существует несколько подходов к настройке гиперпараметров для алгоритмов на основе ядра, в том числе:
1. Поиск по сетке: при поиске по сетке определяется набор возможных значений гиперпараметров, а алгоритм обучается и оценивается для каждой комбинации значений гиперпараметров. Затем комбинация с наилучшей производительностью выбирается в качестве окончательного значения гиперпараметра.
2. Случайный поиск: при случайном поиске значения гиперпараметров выбираются случайным образом из предопределенного распределения, а алгоритм обучается и оценивается. Этот процесс повторяется несколько раз, и в качестве окончательных значений гиперпараметров выбирается комбинация значений гиперпараметров с наилучшей производительностью.
3. Байесовская оптимизация. В байесовской оптимизации вероятностная модель используется для прогнозирования производительности алгоритма при различных значениях гиперпараметров. Затем значения гиперпараметров выбираются на основе предсказания модели, и процесс повторяется до тех пор, пока не будет достигнута удовлетворительная производительность [32, 33].
Ограничения ядер
Ядра имеют некоторые ограничения, включая выбор ядра, чувствительность к гиперпараметрам и возможность переобучения. Кроме того, ядра могут требовать значительных вычислительных ресурсов, особенно для больших наборов данных, и их обучение может занять много времени. Также важно помнить, что методы на основе ядра не всегда могут работать хорошо при работе с сильно несбалансированными или зашумленными данными.
В целом понимание ядер и того, как их выбирать и настраивать, является важным аспектом работы специалиста по данным.
Я надеюсь, что эта статья даст вам обзор того, что специалисту по данным необходимо знать о ядрах, и поможет вам немного лучше понять ядра.
Ссылки
[1] Кортес, К., и Вапник, В. (1995). Сети опорных векторов. Машинное обучение, 20(3), 273–297
[2] Алгоритм метода опорных векторов (SVM) — Intellipaat
[3] Машины опорных векторов (SVM) | УзнатьОткрытьCV
[4] Баелдунг. (2022). Линейно разделимые данные в нейронных сетях
[5] (PDF) Проблема линейной отделимости: некоторые методы тестирования
[6] Что такое ядро в машинном обучении? | зачем нам | Преимущества — EDUCBA
[8] Методы ядра и машинное обучение — cambridge.org
[9] Методы ядра в машинном обучении | Топ 7 типов методов ядра — EDUCBA
[10] Трюк ядра в классификации опорных векторов | Дрю Вилимитис | На пути к науке о данных
[11] «В чем хитрость ядра? Почему это важно? - Середина"
[12] Трюк с ядром — ling.upenn.edu
[13] Хос Луис Рохо-Лварес; Манель Мартнез-Рамн; Хорди Муоз-Мар; Густау Кампс-Валлс, «Машина опорных векторов и алгоритмы классификации ядра, в книге Цифровая обработка сигналов с помощью методов ядра, IEEE, 2018, стр. 433–502»
[14] Воспроизводящее ядро гильбертова пространства — Википедия
[15] Учебник по воспроизведению ядерных гильбертовых пространств — arXiv.org
[16] Воспроизведение ядерных гильбертовых пространств — Калифорнийский университет, Беркли
[18] https://www.geeksforgeeks.org/creating-linear-kernel-svm-in-python
[19] Баелдунг. (2022). Полиномиальное ядро в нейронных сетях. https://www.baeldung.com/cs/nn-polynomial-kernel 1
[20] Нацумэ, Ю. (2022). Ядра гауссовских процессов. Больше, чем просто радиальная базисная функция. https://towardsdatascience.com/gaussian-process-kernels-96bafb4dd63e 1
[21] sklearn.metrics.pairwise.sigmoid_kernel — scikit-learn
[22] Метод опорных векторов (SVM) и трюк с ядрами — средний
[23] https://en.wikipedia.org/wiki/Дискретный оператор Лапласа
[24] sklearn.metrics.pairwise.laplacian_kernel — документация scikit-learn 1.2.2
[25] sklearn.metrics.pairwise.cosine_similarity — документация scikit-learn 1.2.2
[26] Матрицы — Доказательство того, что косинус является допустимым ядром — СпросиСеть по математике
[27] Python — косинусное сходство между 0 и 1 — переполнение стека
[29] (PDF) Ядро пересечения гистограмм для классификации изображений (researchgate.net)
[30] Методы ядра в гиперболических пространствах | Публикация конференции IEEE | IEEE Исследование
[31] Машинное обучение — О свойствах гиперболического касательного ядра — Обмен данными по науке о данных
[33] Настройка гиперпараметров оценщика — документация scikit-learn 1.2.2
