Unigram против Bigram против Posgram в обработке естественного языка

Я хочу знать, в чем смысл и разница между unigram, bigram и posgram. Я искал в Интернете, но я не мог найти исчерпывающий ответ. Любая помощь будет очень высоко ценится.


person alyssaeliyah    schedule 21.03.2019    source источник


Ответы (1)


«Это пример предложения»

Униграмма: Рассматривая одно слово за раз -> «Это» или «есть» или «ан»...

Биграмма (или n-грамма): рассмотрение комбинаций из n слов (bi -> n = 2) -> «Это», «является», «пример», «пример предложения».

Posgram (не так уверен в этом): также учитывая контекст части речи (например, «существительное», «глагол» ...), чтобы предсказать дальнейшую информацию. Более формально, это уменьшает размерность того, из чего выбирается (сводится к выбору слова из набора существительных вместо большего набора всех слов вроде того).

person Evan Mata    schedule 21.03.2019