В этой многосекционной итеративной серии вы познакомитесь с лексической обработкой: токенизация. Является продолжением 12 части серии. В предыдущем разделе вы видели проблему избыточных токенов. Это приведет к неэффективной модели при создании детектора спама. Основание гарантирует, что к различным разновидностям слова, например, "теплый", "теплее", "согревающий" и "согретый", обращается лексема единственного числа - "теплый", в свете того факта, что все они обращаются к одним и..