Представление Fasttext для короткой фразы, но не для более длинной фразы, содержащей короткую

Я не уверен, что вызывает поведение, которое вы видите, хотя у меня есть теория ниже.

Но обратите внимание, что текущее поведение gensim (до 3.7.1), иногда возвращающее KeyError: all ngrams for word <...> absent для слова OOV, не соответствует поведению исходной реализации FastText Facebook и, таким образом, считается ошибкой.

Это должно быть исправлено в следующем релизе. Вы можете прочитать примечание об изменении о новом совместимом поведении.

Таким образом, в ближайшем будущем с обновленной версией gensim вы никогда не увидите эту ошибку KeyError.

В то же время, факторы, которые могут объяснить наблюдаемое вами поведение, включают:

• Не принято передавать фразы, разделенные пробелами, в FastText. Кроме того, обычные токенизации обучающих текстов будут передавать только словесные токены без каких-либо внутренних пробелов. Таким образом, для типичной модели нет никаких шансов, что такие фразы, содержащие пробелы, будут иметь векторы полных слов. И ни одна из их символьных n-грамм, содержащих пробелы, также не будет отображаться на n-граммы, увиденные во время обучения. В той мере, в какой вы вообще получите вектор в gensim 3.7.1 и более ранних версиях, это будет связано с тем, что некоторые из n-грамм, не содержащие пробелы, были замечены при обучении. (После версии 3.7.1 вы всегда будете получать вектор, хотя он может быть составлен из случайных столкновений новых n-грамм слова-запроса с n-граммами, полученными при обучении, или просто со случайно-инициализированными, но никогда не обучаемыми векторов внутри хеш-таблицы n-грамм модели.)
• N-граммы изучаются с помощью синтетического префикса начала слова и суффикса конца слова, в частности, символов < и >. А диапазон размеров n-грамм по умолчанию составляет от 4 до 6 символов. Таким образом, ваша строка 'AuM Wert' будет среди своих n-грамм включать '<AuM', 'Wert' и 'ert>'. (Все другие его n-граммы будут включать пробел и, следовательно, не могут быть в наборе n-грамм, изученных во время обучения словам без пробелов.). Но обратите внимание, что более длинная фраза, в которой вы получаете сообщение об ошибке, не будет включать n-грамму 'ert>', потому что предыдущая лексема конца была заменена пробелом. Таким образом, n-граммы более короткой фразы не являются правильным подмножеством n-грамм более крупной фразы, и более крупная фраза может привести к ошибке там, где ее нет. (И ваша более длинная фраза без пробела, которая не содержит ошибок, также включает ряд дополнительных n-грамм из 4-6 символов, которые могли быть в обучающих данных, которых нет во фразе с ошибкой.)