htmlparser分析网页链接时的问题

    利用htmlparser在解析网页的url链接时,我们想提取指定标签下的链接。例如:div id=wrap下的链接,可以通过下面代码实现:
Parser	parser = new Parser(url);
NodeFilter nodefilter1=new AndFilter(new TagNameFilter(nodename),new HasAttributeFilter(attr,attrvalue));
		try {
			org.htmlparser.util.NodeList nodeList=parser.extractAllNodesThatMatch(nodefilter1);
			nodefilter1=new NodeClassFilter(LinkTag.class);
			nodeList=nodeList.extractAllNodesThatMatch(nodefilter1,true);
			for(org.htmlparser.Node node:nodeList.toNodeArray()){
				if(node instanceof LinkTag){
				LinkTag links=(LinkTag)node;
//				if(links.extractLink().length()>textleaf.length()){
				
				uArrayList.add(links.extractLink());
//			}
				}
			}


但是发现在有时解析出的url网址没有全部被解析(是不是htmlparser的BUG)。举例说明下:
http://news.sina.com.cn/china/我们解析新浪新闻网下<div id="wrap">的链接,而用上述只能解析出http://news.sina.com.cn等四个网址,这是上述标签下的一个子标签的链接。而如果我们将网页中的Script,STYLE标签过滤掉之后,链接就都有了。。过滤Script、style等标签我是用的DOM树进行。
    不知道有没有人知道上述问题的原因。

你可能感兴趣的:(HtmlParser)