nutch 搜索site dedup
这个版本发现有个大大的bug，就是搜索时同一页面出现重复，不同页面也出现重复。即使有check dedup功能，也不起作用。
后来把代码修改一个才行，被搞晕。。。
其实关键代码就在于NutchBean.search(query)中。以下来分析一下。
public Hits search(Query query) throws IOException {
if (query.getParams().getMaxHitsPerDup() <= 0) // disable dup checking
return searchBean.search(query);
final float rawHitsFactor = this.conf.getFloat("searcher.hostgrouping.rawhits.factor", 2.0f);
int numHitsRaw = (int)(query.getParams().getNumHits() * rawHitsFactor);
if (LOG.isInfoEnabled()) {
LOG.info("searching for "+numHitsRaw+" raw hits");
}
Hits hits = searchBean.search(query);
final long total = hits.getTotal();
final Map<String, DupHits> dupToHits = new HashMap<String, DupHits>();
final List<Hit> resultList = new ArrayList<Hit>();
final Set<Hit> seen = new HashSet<Hit>();
final List<String> excludedValues = new ArrayList<String>();
boolean totalIsExact = true;
int optimizeNum = 0;
for (int rawHitNum = 0; rawHitNum < hits.getLength(); rawHitNum++) {
// get the next raw hit
if (rawHitNum == (hits.getLength() - 1) && (optimizeNum < MAX_OPTIMIZE_LOOPS)) {
// increment the loop
optimizeNum++;
// optimize query by prohibiting more matches on some excluded values
final Query optQuery = (Query)query.clone();
for (int i = 0; i < excludedValues.size(); i++) {
if (i == MAX_PROHIBITED_TERMS)
break;
optQuery.addProhibitedTerm(excludedValues.get(i),
query.getParams().getDedupField());
}
numHitsRaw = (int)(numHitsRaw * rawHitsFactor);
if (LOG.isInfoEnabled()) {
LOG.info("re-searching for "+numHitsRaw+" raw hits, query: "+optQuery);
}
hits = searchBean.search(optQuery);
if (LOG.isInfoEnabled()) {
LOG.info("found "+hits.getTotal()+" raw hits");
}
rawHitNum = -1;
continue;
}
final Hit hit = hits.getHit(rawHitNum);
if (seen.contains(hit))
continue;
seen.add(hit);
// get dup hits for its value
final String value = hit.getDedupValue();
DupHits dupHits = dupToHits.get(value);
if (dupHits == null)
dupToHits.put(value, dupHits = new DupHits());
// does this hit exceed maxHitsPerDup?
if (dupHits.size() == query.getParams().getMaxHitsPerDup()) { // yes -- ignore the hit
if (!dupHits.maxSizeExceeded) {
// mark prior hits with moreFromDupExcluded
for (int i = 0; i < dupHits.size(); i++) {
dupHits.get(i).setMoreFromDupExcluded(true);
}
dupHits.maxSizeExceeded = true;
excludedValues.add(value); // exclude dup
}
totalIsExact = false;
} else { // no -- collect the hit
resultList.add(hit);
dupHits.add(hit);
// are we done?
// we need to find one more than asked for, so that we can tell if
// there are more hits to be shown
if (resultList.size() > query.getParams().getNumHits())
break;
}
}
final Hits results =
new Hits(total,
resultList.toArray(new Hit[resultList.size()]));
results.setTotalIsExact(totalIsExact);
return results;
}
一。概念
hitsPerPage:相当count of a page
hitsPerSite：that is how many elements in a site per whole searches by same keyword
totalIsExact:如果没有site dup，那么就是true
numHits：就是期望的topn
seen:dedulicated set
二。流程
首先外部有个大循环，根据length()进行；内㠌一个loop，表明如果是有dup site便进行扩展搜索。
其实
numHitsRaw
没用到，可以说是多余的。当
excludedValues
为空时，这样会产生dead loop。
maxSizeExceeded
是为了标记一次整站搜索时同一site的是否处理过，当然前提 是达到hitspersite.
最后，利用
getNumHits
判断是否达到停止范围，应该说是使用8/2原则来显示下一页了。
觉得自从cutting放开lucene系列产品后，都有些不尽人意的地方。比如就这个问题。其实这版本还在其它jsp中问题等 ，可以说是测试根本不到位 呀，只是简单的替换下libs，改改人家提出的bugs就算upgrade，而最后 的测试也没把关一下，唉。。谁叫你开源呢？话又说回来，如果不开源又有多少技术不扩散，多少人失业呢？矛盾！
=============================
上传几张google中类似效果的图片；baidu现在没做了。记得以前两个都有搞similarity功能，现在只看到gg在搜索最后才显示 。
其实这里的功能相当上图中的最后一行功能。
这就是similarity 功能了，与site相当，只是在最后显示而已。
无意中发现bing的搜索有这样的結果：每页只有一个url。。。
其实这个site功能的搜索总数是不固定的，就像上图一样，每次搜索結果都不一样，所以gg也是不同的页数显示数量不一样。但在nutch中，是故意将total先保存下来，最后和reset，就显得总数保持不变，其实这样做是不对的。应该向gg学习！