nutch getOutLinks 外链的处理

转载自：

http://blog.csdn.net/witsmakemen/article/details/8067530

通过跟踪发现，Fetcher获得网页解析链接没有问题，获得了网页中所有的链接，然后在output()函数中通过FetcherOutputFormat类输出（包含在ParseResult中）。

但是在更新数据库的CrawlDb的update（）函数中，发现并没有获得所有的链接，而是部分链接，而且相当一部分链接被过滤掉了。

问题肯定出在FetcherOutputFormat类中，FetcherOutputFormat中负责ParseResult数据输出的是ParseOutputFormat类，
分析ParseOutPutFormat类发现在write（）函数中，将ParseResult中的Outlink[]取出，然后将Outlink[]进行处理放到targets链表中，
targets链表最终将输出到crawl_parse中作为CrawlDb的输入，问题就出在将OutLink[]中的数据取出来放到targets的过程中，
因为对每个连接url要进行过滤处理，处理掉格式不正确或者是内部的链接，通过的链接还要进行进一步的规范化和过滤处理
（规范化由regex-normalize.xml中的正则表达式过滤，过滤由regex-urlfilter.txt中的正则表达式过滤），
当对url进行规范化的时候过滤掉了很大一部分链接，链接中含有“sid=”被当做session id过滤掉了，所以更新中获得不到这部分链接。





    for (int i = 0; i < links.length && validCount < outlinksToStore; i++) {  

      String toUrl = links[i].getToUrl();  

      

      // ignore links to self (or anchors within the page)  

      if (fromUrl.equals(toUrl)) {//过滤内部链接  

        continue;  

      }  

      if (ignoreExternalLinks) {//过滤掉内部链接  

        try {  

          toHost = new URL(toUrl).getHost().toLowerCase();  

        } catch (MalformedURLException e) {  

          toHost = null;  

        }  

        if (toHost == null || !toHost.equals(fromHost)) { // external links  

          continue; // skip it  

        }  

      }  

      try {  

        toUrl = normalizers.normalize(toUrl,  

                    URLNormalizers.SCOPE_OUTLINK); //规范化url  

        toUrl = filters.filter(toUrl);   // 过滤掉url              

        if (toUrl == null) {

          continue;  

        }  

      } catch (Exception e) {  

      

        continue;  

      }  

       

      CrawlDatum target = new CrawlDatum(CrawlDatum.STATUS_LINKED, interval);  

      Text targetUrl = new Text(toUrl);   

      try {  

        scfilters.initialScore(targetUrl, target);//对链接进行打分  

      } catch (ScoringFilterException e) {  

        LOG.warn("Cannot filter init score for url " + key +  

                 ", using default: " + e.getMessage());  

        target.setScore(0.0f);  

      }  

        

      targets.add(new SimpleEntry(targetUrl, target));  

      outlinkList.add(links[i]);  

      validCount++;  

    }