用HtmlCleaner抓取新闻

HtmlCleaner 用来做html的网页分析 能够做到过滤一些标签  提取一些标签

他能够利用xpath来进行筛选，非常方便。

这里简单的做点介绍

首先导入jar包

然后建立对象HtmlCleaner  根据URL和charset来分析出网页所有的标签。

然后筛选我们想要的信息

Demo如下：

 //HtmlCleaner Demo
 //读取了http://www.baidu.com下的   所有<p>标签中id属性为nv的标签  在这些标签下的子标签<a>

 import java.net.URL;

 import org.htmlcleaner.*;

 public class CrawDemo {

     public static void main(String[] args) throws Exception{
         try {
             HtmlCleaner cleaner = new HtmlCleaner();
             URL url = new URL("http://www.baidu.com");
             TagNode node = cleaner.clean(url, "utf-8");
             Object[] tagNodes = node.evaluateXPath("//p[@id='nv']/a");  //找到<p>标签中id为nv的<p>标签  这些<p>标签下有子标签<a>的 标签们
             //按tag取.    取出title
             //Object[] ns = node.getElementsByName("title", true);    //标题
             //按属性值取            取出 name="my_href" 的链接
             //ns = node.getElementsByAttValue(attname, attvalue, 是否递归查找, 是否大小写敏感);
             for (Object tagNode : tagNodes){
                 System.out.println(((TagNode)tagNode).getText());
                 System.out.println(((TagNode)tagNode).getAttributeByName("href"));
             }
         }
         catch (Exception exception){
             exception.printStackTrace();
         }
     }
 }

用起来非常方便！

介绍几个好用的函数。

按XPATH找标签  返回对象们 Object[ ]

 node.evaluateXPath(xPathExpression)

返回该标签的属性名

 node.getAttributeByName(attName)

返回标签的内容

 node.getText()

按属性及属性值查找标签        返回该标签  TagNode

 node.findElementByAttValue(attName, attValue, isRecursive, isCaseSensitive)

找标签名  返回该标签  TagNode

 node.findElementByName(findName, isRecursive)

获取网页信息以标签形式展现

 HtmlCleaner cleaner = new HtmlCleaner();
 TagNode node = cleaner.clean(new URL(url));