Размер окна FastText

FastText (и связанные алгоритмы, такие как word2vec) будут просто использовать как можно большую часть контекстного окна.

Например, предположим, что размер окна равен 5, а входные токены:

['Senior', 'Database', 'Administrator']

При обучении с «центральным» словом 'Senior' алгоритм будет готов обрабатывать до 5 слов в любом направлении.

Но есть 0 слов, предшествующих 'Senior', и только 2 слова, следующих за 'Senior', поэтому только эти 2 следующих слова будут считаться соседними.

(Никакие «включаемые значения» не будут использоваться, как если бы они были пустыми соседями, и не будет происходить «просачивания» к соседним текстам.)

Два других связанных примечания, которые следует иметь в виду:

• Этим алгоритмам действительно нужны соседние слова для любого обучения, поэтому любые тексты, содержащие всего одно слово, по сути, не работают. (Если есть слово, которое появляется только в одиночку, вы все еще можете увидеть вектор для него в конце обучения, но в реализациях, с которыми я знаком, это будет просто случайным образом инициализированный начальный вектор, полностью не обучены реальным примерам использования.)
• Большинство реализаций будут имитировать взвешивание соседних слов, не *всегда используя именно ваш заявленный размер окна, а скорее, для каждого прохода по определенному целевому центральному слову, выбирая случайный размер окна , от 1 до выбранного вами размера окна. Таким образом, непосредственные соседи всегда являются частью обучения, в то время как более дальние слова чаще пропускаются.