问读nutch 1.2 解析html的插件 HtmlParser插件

分为以下几个部分：

 

1 解析成Dom 通过sax，

DocumentFragment root;

//把网页内容content转化byte
byte[] contentInOctets = content.getContent();

 

//SAX解析抽取外部信息
            InputSource input = new InputSource(new ByteArrayInputStream(
                    contentInOctets));

 

//设置编码

input.setEncoding(encoding);

 

root = parse(input);

 

2 通过root解析出meta，title等。

 

3 //解析成功标记
        ParseStatus status = new ParseStatus(ParseStatus.SUCCESS);
        if (metaTags.getRefresh()) {
            status.setMinorCode(ParseStatus.SUCCESS_REDIRECT);
            status.setArgs(new String[] { metaTags.getRefreshHref().toString(),
                    Integer.toString(metaTags.getRefreshTime()) });
        }
        //解析ParseData
        ParseData parseData = new ParseData(status, title, outlinks, content
                .getMetadata(), metadata);
       
        ParseResult parseResult = ParseResult.createParseResult(content
                .getUrl(), new ParseImpl(text, parseData));

 

4 // 在解析时，运行过滤器
        ParseResult filteredParse = this.htmlParseFilters.filter(content,
                parseResult, metaTags, root);
        if (metaTags.getNoCache()) { // not okay to cache
            for (Map.Entry<org.apache.hadoop.io.Text, Parse> entry : filteredParse)
                entry.getValue().getData().getParseMeta().set(
                        Nutch.CACHING_FORBIDDEN_KEY, cachingPolicy);
        }