Я знаю, что LDA используется для тематического моделирования, а также знаю, как мне принимать текстовые данные и какой результат я могу ожидать. Но чего я не понял, так это того, какая математическая часть отвечает за обнаружение скрытых или неизвестных тем, и мне было очень интересно понять логику получения модели, чтобы подогнать ее к данным, другие логические шаги, связанные с обнаружением скрытых тем, и алгоритм, используемый для оптимизации решения. Моих известных неизвестных по этой..

[ВНИМАНИЕ: СЛИШКОМ ПРОСТО!] В Главе 3.13« Теория информации » Книги по глубокому обучению Иэна Гудфеллоу говорится: мы определяем самоинформацию события X = x как I (x) = −log P (x) Поэтому наше определение I (x) записано в нац. Один нат - это количество информации, полученное при наблюдении за событием с вероятностью 1 / e. … Мы можем количественно оценить степень неопределенности во всем распределении вероятностей, используя энтропию Шеннона . Но что..