Как в модели LDA мультиномиальные параметры (тета) берутся из априорного веса Дирихле (альфа)?

Я новичок, сейчас изучаю модель LDA (латентное распределение Дирихле). Но я столкнулся с проблемой.

Как тета извлекается из альфы?

theta ~ Директ (альфа)

Согласно моему краткому пониманию, переменная theta - это вектор с длиной K, а его компоненты представляют пропорции темы в документе. И тэты для каждого документа отличаются друг от друга. И, на уровне корпуса, альфа по-прежнему является K-вектором, тогда как тета - это матрица размером M (количество документов) на K (количество тем).

Первый вопрос: то, что я сказал выше, правда?

Второй вопрос: если это правда, по документам, как разные тэты (K-векторы) могут быть взяты из одного и того же распределения Дирихле?


person ChangUk    schedule 12.08.2013    source источник


Ответы (1)


Первый ответ: да, вы совершенно правы.

Второй ответ: как вы упомянули, альфа - это K-вектор. Когда мы берем образец из распределения Дирихле, мы получаем другой K-вектор. Сами значения будут зависеть от значений альфа, но все они в сумме равны 1 (именно так их можно рассматривать как пропорции всех тем в одном документе). Мы делаем выборку один раз для каждого документа, чтобы получить M векторов - так мы получаем матрицу theta MxK.

Длина вектора, который мы получаем от выборки распределения Дирихле, зависит от длины его параметра, альфа.

person Adeola Bannis    schedule 06.10.2013