Что такое параметрический алгоритм машинного обучения и чем он отличается от непараметрического алгоритма машинного обучения?

В этом посте вы обнаружите разницу между параметрическими и непараметрическими алгоритмами машинного обучения.

Давайте начнем.

Изучение функции

Машинное обучение можно резюмировать как обучение функции (f), которая сопоставляет входные переменные (X) с выходными переменными (Y).

Y = f(x)

Алгоритм изучает эту функцию отображения цели на основе данных обучения.

Форма функции неизвестна, поэтому наша задача как практикующих специалистов по машинному обучению - оценивать различные алгоритмы машинного обучения и определять, какой из них лучше аппроксимирует основную функцию.

Различные алгоритмы делают разные предположения или предубеждения относительно формы функции и того, как ее можно изучить.

Алгоритмы параметрического машинного обучения

Предположения могут значительно упростить процесс обучения, но также могут ограничить то, что можно изучить. Алгоритмы, упрощающие функцию до известной формы, называются алгоритмами параметрического машинного обучения.

Алгоритмы параметрического машинного обучения делают предположения о функции сопоставления и имеют фиксированное количество параметров. Независимо от того, сколько данных используется для изучения модели, это не повлияет на количество параметров, которые имеет алгоритм. В параметрическом алгоритме мы выбираем форму функции, а затем изучаем ее коэффициенты, используя данные обучения.

Алгоритмы включают два шага:

  1. Выберите форму для функции.
  2. Узнайте коэффициенты функции на основе данных обучения.

Примером этого может быть подход, используемый в алгоритмах линейной регрессии, где упрощенная функциональная форма может быть примерно такой:

B0​+B1​∗X1​+B2​∗X2​=0

Это предположение значительно упрощает процесс обучения; после выбора начальной функции остающаяся проблема состоит в том, чтобы просто оценить коэффициенты B0, B1 и B2 с использованием различных выборок входных переменных X1 и X2.

Вот несколько дополнительных примеров алгоритмов параметрического машинного обучения:

  • Логистическая регрессия
  • Линейный дискриминантный анализ
  • Перцептрон
  • Наивный байесовский
  • Простые нейронные сети

Преимущества:

  • проще и проще для понимания; легче интерпретировать результаты
  • Быстрее, когда речь идет об обучении на основе данных
  • Меньше обучающих данных, необходимых для изучения функции сопоставления, она хорошо работает, даже если соответствие данным неидеально.

Ограничения:

  • Сильно ограничено указанной формой упрощенной функции
  • Ограниченная сложность задач, для которых они подходят
  • Плохо подходит на практике и вряд ли соответствует основной функции сопоставления.

Непараметрические алгоритмы машинного обучения

Непараметрические алгоритмы не делают предположений относительно формы функции отображения между входными и выходными данными. Следовательно, они могут свободно изучать любую функциональную форму на основе данных обучения.

Простым примером является алгоритм K-ближайших соседей (KNN), KNN не делает никаких предположений о функциональной форме, а вместо этого использует шаблон, согласно которому точки имеют одинаковый результат, когда они находятся рядом.

Вот несколько других примеров популярных непараметрических алгоритмов машинного обучения:

  • k-Ближайшие соседи
  • Деревья решений, такие как CART и C4.5
  • Машины опорных векторов

Преимущества:

  • Высокая гибкость в том смысле, что они способны соответствовать большому количеству функциональных форм.
  • Возможности за счет слабых предположений или отсутствия предположений относительно основной функции.
  • Высокая эффективность в создаваемых моделях прогнозирования.

Ограничения:

  • Дополнительные данные обучения необходимы для оценки функции сопоставления.
  • Медленнее для тренировки, как правило, для тренировки требуется гораздо больше параметров.
  • Переобучение обучающих данных - это риск; переобучение затрудняет объяснение полученных прогнозов

Резюме

В этом посте вы обнаружили:

  • Разница между параметрическими и непараметрическими алгоритмами машинного обучения.
  • Параметрические методы делают большие предположения о сопоставлении входных переменных с выходной переменной и, в свою очередь, быстрее обучаются, требуют меньше данных, но могут быть не такими мощными.
  • Непараметрические методы делают мало предположений о целевой функции или вообще не делают их и, в свою очередь, требуют гораздо больше данных, медленнее обучаются и имеют более сложную модель, но могут привести к более мощным моделям.

Я надеюсь, что эта статья поможет вам лучше понять эту тему.

Использованная литература:



Параметрические и непараметрические алгоритмы машинного обучения - мастерство машинного обучения
Что такое параметрический алгоритм машинного обучения и чем он отличается от непараметрического машинного обучения… machinelearningmastery.com



Программа Microsoft Scholarship Foundation Nanodegree Program: https://www.udacity.com/