Solr WordDelimiterFilter + Lucene Highlighter

После дальнейшего расследования выяснилось, что это ошибка в коде Lucene Highlighter. Как вы можете видеть здесь:

public class TokenGroup {

    ...

    protected boolean isDistinct() {
        return offsetAtt.startOffset() >= endOffset;
    }

    ...

Код пытается определить, отличается ли группа токенов, проверяя, больше ли начальное смещение, чем предыдущее конечное смещение. Проблема с этим подходом иллюстрируется этой проблемой. Если бы вы прошлись по токенам, вы бы увидели, что они следующие:

0-4: 'test', 'test'
5-6: '1', '1'
7-10: '500', '500'
5-10: '1500', '1,500'
11-15: 'this', 'this'

Отсюда видно, что третья фишка начинается после окончания второй, а четвертая начинается там же, где и вторая. Предполагаемый результат будет состоять в том, чтобы сгруппировать токены 2, 3 и 4, но в этой реализации токен 3 рассматривается как отдельный от 2, поэтому 2 появляется сам по себе, затем 3 и 4 группируются, оставляя этот результат:

Expected: 'test <b>1,500</b> this'
Observed: 'test 1<b>1,500</b> this'

Я не уверен, что это можно сделать без двух проходов: одного для получения всех индексов и второго для их объединения. Кроме того, я не уверен, какие последствия могут быть за пределами этого конкретного случая. У кого-нибудь есть идеи здесь?

РЕДАКТИРОВАТЬ

Вот окончательный исходный код, который я придумал. Он правильно сгруппирует вещи. Это также кажется НАМНОГО проще, чем реализация Lucene Highlighter, но, по общему признанию, не обрабатывает разные уровни оценки, поскольку моему приложению требуется только да/нет в отношении того, будет ли выделен фрагмент текста. Также стоит отметить, что я использую их QueryScorer для оценки текстовых фрагментов, которые имеют недостаток в том, что они ориентированы на термины, а не на фразы, что означает, что строка поиска «грамматический или орфографический» будет иметь выделение, которое выглядит примерно так: «< b>грамматический или орфографический", так как или, скорее всего, будет отброшен вашим анализатором. В любом случае, вот мой источник:

public TextFragments<E> getTextFragments( TokenStream tokenStream,
        String text,
        Scorer scorer )
        throws IOException, InvalidTokenOffsetsException {
    OffsetAttribute offsetAtt = (OffsetAttribute) tokenStream.addAttribute( OffsetAttribute.class );
    TermAttribute termAtt = (TermAttribute) tokenStream.addAttribute( TermAttribute.class );
    TokenStream newStream = scorer.init( tokenStream );
    if ( newStream != null ) {
        tokenStream = newStream;
    }

    TokenGroups tgs = new TokenGroups();
    scorer.startFragment( null );
    while ( tokenStream.incrementToken() ) {
        tgs.add( offsetAtt.startOffset(), offsetAtt.endOffset(), scorer.getTokenScore() );
        if ( log.isTraceEnabled() ) {
            log.trace( new StringBuilder()
                    .append( scorer.getTokenScore() )
                    .append( " " )
                    .append( offsetAtt.startOffset() )
                    .append( "-" )
                    .append( offsetAtt.endOffset() )
                    .append( ": '" )
                    .append( termAtt.term() )
                    .append( "', '" )
                    .append( text.substring( offsetAtt.startOffset(), offsetAtt.endOffset() ) )
                    .append( "'" )
                    .toString() );
        }
    }

    return tgs.fragment( text );
}

private class TokenGroup {
    private int startIndex;
    private int endIndex;
    private float score;

    public TokenGroup( int startIndex, int endIndex, float score ) {
        this.startIndex = startIndex;
        this.endIndex = endIndex;
        this.score = score;
    }
}

private class TokenGroups implements Iterable<TokenGroup> {
    private List<TokenGroup> tgs;

    public TokenGroups() {
        tgs = new ArrayList<TokenGroup>();
    }

    public void add( int startIndex, int endIndex, float score ) {
        add( new TokenGroup( startIndex, endIndex, score ) );
    }

    public void add( TokenGroup tg ) {
        for ( int i = tgs.size() - 1; i >= 0; i-- ) {
            if ( tg.startIndex < tgs.get( i ).endIndex ) {
                tg = merge( tg, tgs.remove( i ) );
            }
            else {
                break;
            }
        }
        tgs.add( tg );
    }

    private TokenGroup merge( TokenGroup tg1, TokenGroup tg2 ) {
        return new TokenGroup( Math.min( tg1.startIndex, tg2.startIndex ),
                Math.max( tg1.endIndex, tg2.endIndex ),
                Math.max( tg1.score, tg2.score ) );
    }

    private TextFragments<E> fragment( String text ) {
        TextFragments<E> fragments = new TextFragments<E>();

        int lastEndIndex = 0;
        for ( TokenGroup tg : this ) {
            if ( tg.startIndex > lastEndIndex ) {
                fragments.add( text.substring( lastEndIndex, tg.startIndex ), textModeNormal );
            }
            fragments.add( 
                    text.substring( tg.startIndex, tg.endIndex ),
                    tg.score > 0 ? textModeHighlighted : textModeNormal );
            lastEndIndex = tg.endIndex;
        }

        if ( lastEndIndex < ( text.length() - 1 ) ) {
            fragments.add( text.substring( lastEndIndex ), textModeNormal );
        }

        return fragments;
    }

    @Override
    public Iterator<TokenGroup> iterator() {
        return tgs.iterator();
    }
}

Вот возможная причина. Ваш маркер должен использовать тот же Анализатор, который используется для поиска. IIUC, Ваш код использует анализатор по умолчанию для подсветки, даже несмотря на то, что он использует специализированный анализатор для разбора запроса. Я считаю, что вам нужно изменить Fragmenter для работы с вашим конкретным TokenStream.