solr的问题 CharFilterFactory

http://www.oschina.net/question/207854_149984

只要使用了CharFilterFactory，如 HTMLStripCharFilterFactory,则会出现不分词的情况

 

在AnalysisRequestHandlerBase 下面有这段代码

   NamedList<Object> namedList = new NamedList<Object>();

 

    if( cfiltfacs != null ){

      String source = value;

      for(CharFilterFactory cfiltfac : cfiltfacs ){

        Reader reader = new StringReader(source);

        reader = cfiltfac.create(reader);

        source = writeCharStream(namedList, reader);

      }

    }

 

改为

 NamedList<Object> namedListfilter = new NamedList<Object>();

 

    if( cfiltfacs != null ){

      String source = value;

      for(CharFilterFactory cfiltfac : cfiltfacs ){

        Reader reader = new StringReader(source);

        reader = cfiltfac.create(reader);

        //source = getCharStream(reader);//picksun

        source = writeCharStream(namedListfilter, reader);

      }

      value=source;//picksun

    }

 

    NamedList<Object> namedList = new NamedList<Object>();//picksun

 

把value转换为过滤后的新的值，才能在下一步中进行分词;

而且把CharFilterFactory过滤的内容放在NamedList的最前，

会导致分词的结果无法得到。

 

至于namedList的内容 要不要add到 namedListfilter ，悉听尊便。

 

这应该是solr的一个bug。

遗憾的是这个问题，我发现在solr 3.6.2的版本也有，看来是老问题了。

不知道是否大家都不用CharFilterFactory，才没有发现这个错误。