提高Lucene Filter对搜索结果过滤的性能

前此日子在研究如何提高lucene搜索速度，200多W的索引数据搜索结果有50W时大概花了10s左右,虽然已经对搜索结果进行cache,但第一次查询还是很慢的。主要是由于业务上要根据条件过滤掉一些记录，还有是对搜索结果做分组统计。所以在Filter中实现的话最要循环50W次来对每条记录判断并做过滤。最开始的时候以为是对搜索结果的分组统计的性能问题。最后经测试发现还是迭代Hits的效率低下。找了很多文档都没有很好的解决方案。只找到了使用HitCollector来做搜索结果的分组统计的高效。最后决定把它拿到Filter中替代了之前的迭代Hits结果的操作。最后发现50W结果只要2s左右效率提高了好几陪。以下为大致实现方式：
private Query query;
public BitSet bits(IndexReader reader) throws IOException {
final BitSet bits = new BitSet(reader.maxDoc());
final IndexSearcher searcher = new IndexSearcher(reader);
    searcher.search(query, new HitCollector() {
           public void collect(int doc, float score) {
            try {
                bits.set(doc);
                Document document = searcher.doc(doc);
                if(...){
                    bits.set(doc, false);
                }
            }catch (IOException e) {
            e.printStackTrace();
            }
        }
    });
return bits;
}

顺便提醒大家不要对Hits做迭代操作。文档上说的很清楚不要迭代超100条以上的hits因为默认只查了前100条数据。当超过100时它得再次去索引查询这样增加了频繁的I/O操作。但使用HitCollector为什么高效现在还不清楚内部实现原理。