Псевдокод оценки максимального правдоподобия

Если вы выполняете расчеты максимального правдоподобия, первый шаг, который вам нужно сделать, заключается в следующем: Предположим, что распределение зависит от некоторых параметров. Поскольку вы generate свои данные (вы даже знаете свои параметры), вы «говорите» своей программе, что она должна принять гауссово распределение. Однако вы не сообщаете своей программе свои параметры (0 и 1), а оставляете их априори неизвестными и затем вычисляете их.

Теперь у вас есть образец вектора (назовем его x, его элементы от x[0] до x[100]), и вам нужно его обработать. Для этого вам необходимо вычислить следующее (f обозначает функцию плотности вероятности распределения Гаусса):

f(x[0]) * ... * f(x[100])

Как вы можете видеть в приведенной мной ссылке, f использует два параметра (греческие буквы µ и σ). Вы теперь должны вычислить значения для µ и σ таким образом, чтобы f(x[0]) * ... * f(x[100]) принимал максимально возможное значение.

Когда вы это сделаете, µ будет вашим значением максимального правдоподобия для среднего, а σ - значением максимального правдоподобия для стандартного отклонения.

Обратите внимание, что я не говорю вам явно как вычислять значения для µ и σ, поскольку это довольно математическая процедура, которой у меня нет под рукой (и, вероятно, я бы ее не понял); Я просто расскажу вам о методе получения значений, который также может быть применен к любым другим дистрибутивам.

Поскольку вы хотите максимизировать исходный член, вы можете «просто» максимизировать логарифм исходного члена - это избавит вас от необходимости иметь дело со всеми этими продуктами и преобразует исходный член в сумму с некоторыми слагаемыми.

Если вы действительно хотите его вычислить, вы можете сделать некоторые упрощения, которые приведут к следующему термину (надеюсь, я ничего не напутал):

Теперь вам нужно найти такие значения для µ и σ, чтобы указанное выше чудовище было максимальным. Это очень нетривиальная задача, называемая нелинейной оптимизацией.

Вы можете попробовать следующее упрощение: исправьте один параметр и попробуйте вычислить другой. Это избавляет вас от необходимости иметь дело с двумя переменными одновременно.

Я только что наткнулся на это, и я знаю, что он старый, но я надеюсь, что кому-то это пригодится. Хотя предыдущие комментарии дали довольно хорошее описание того, что такое оптимизация машинного обучения, никто не дал псевдокода для ее реализации. У Python есть минимизатор в Scipy, который сделает это. Вот псевдокод линейной регрессии.

# import the packages
import numpy as np
from scipy.optimize import minimize
import scipy.stats as stats
import time

# Set up your x values
x = np.linspace(0, 100, num=100)

# Set up your observed y values with a known slope (2.4), intercept (5), and sd (4)
yObs = 5 + 2.4*x + np.random.normal(0, 4, 100)

# Define the likelihood function where params is a list of initial parameter estimates
def regressLL(params):
    # Resave the initial parameter guesses
    b0 = params[0]
    b1 = params[1]
    sd = params[2]

    # Calculate the predicted values from the initial parameter guesses
    yPred = b0 + b1*x

    # Calculate the negative log-likelihood as the negative sum of the log of a normal
    # PDF where the observed values are normally distributed around the mean (yPred)
    # with a standard deviation of sd
    logLik = -np.sum( stats.norm.logpdf(yObs, loc=yPred, scale=sd) )

    # Tell the function to return the NLL (this is what will be minimized)
    return(logLik)

# Make a list of initial parameter guesses (b0, b1, sd)    
initParams = [1, 1, 1]

# Run the minimizer
results = minimize(regressLL, initParams, method='nelder-mead')

# Print the results. They should be really close to your actual values
print results.x

Это отлично работает для меня. Конечно, это только основы. Он не профилирует и не дает CI для оценок параметров, но это начало. Вы также можете использовать методы машинного обучения, чтобы найти оценки, например, для ODE и других моделей, как я описываю здесь.

Я знаю, что этот вопрос был старым, надеюсь, с тех пор вы его поняли, но, надеюсь, кому-то другому будет полезно.

Вам нужна процедура численной оптимизации. Не уверен, что что-то реализовано в Python, но если это так, то это будет в numpy или scipy и друзьях.

Ищите такие вещи, как «алгоритм Нелдера-Мида» или «BFGS». Если ничего не помогает, используйте Rpy и вызовите функцию R optim ().

Эти функции работают, просматривая функциональное пространство и пытаясь определить, где находится максимум. Представьте, что вы пытаетесь найти вершину холма в тумане. Вы можете просто попробовать всегда идти по самому крутому пути. Или вы можете отправить друзей с радиоприемниками и GPS-приемниками и провести небольшую съемку. Любой из этих методов может привести к ложной вершине, поэтому часто приходится проделывать это несколько раз, начиная с разных точек. В противном случае вы можете подумать, что южная вершина является самой высокой, когда ее затмевает массивная северная вершина.

Как сказал Йоран, оценки максимального правдоподобия для нормального распределения можно вычислить аналитически. Ответы можно найти, найдя частные производные логарифмической функции правдоподобия по параметрам, установив для каждого из них ноль, а затем решив оба уравнения одновременно.

В случае нормального распределения вы должны вывести логарифм правдоподобия по отношению к среднему (mu), а затем вывести по дисперсии (sigma ^ 2), чтобы получить два уравнения, оба равные нулю. После решения уравнений для mu и sigma ^ 2 вы получите выборочное среднее и выборочную дисперсию в качестве ответов.

Дополнительные сведения см. На странице википедии.