关于这个HtmlParser的学习资料,网上真的很匮乏,这个好用的东西不要浪费啊,所以我在这里隆重的介绍一下。
HtmlParser是一个用来解析HTML文件的Java包,主要用于转换盒抽取两个方面。
利用HtmlParser,你可以实现下面的内容的抽取:
a.文本抽取 b.链接抽取 c.资源抽取。可以搜集到图像和声音文件等资源
d.链接检查。保证链接是有用的 e.站点检查,可以查看页面不同版本之间的差异
利用HtmlParser,你可以利用它的转换功能,主要体现在几个方面:
a.URL重写。能够修正页面中的错误链接 b.广告清楚。清除页面中的广告内容和指向广告的链接
c.将HTML页面转化成XML页面 d.HTML页面的清理
我们开始学习了,我们先来看看这个包中的类的大体框架:
在org.htmlparser包下,有几个接口和类:
Parser类:这个是HtmlParser的核心类,主要的完成对Html页面的分析工具,通过这个类我们可以得到这个页面的各种信息。
Parser():无参数的构造方法。
Parser(String resource):根据String参数构建对象,这个参数可以是URL或者本地文件的路径。
Parser(URLConnection connection):根据一个URLConnection对象构建对象。
createParser(String html, String charset):通过路径名创建对象,并且设置编码格式。
elements():返回这个类的元素节点的迭代器,通过这个迭代器我们遍历页面的节点。
setURL():设置这个Parser类要解析的页面的地址。
parset():根据一个NodeFilter,也就是一个过滤器去获取过滤剩下的页面信息。
visitAllNodeWith(NodeVisitor visitor):通过一个NodeVisitor去遍历所有的节点。
小试牛刀(这个只是简单的使用,具体的类看下面的介绍):
@Test public void testVisitAllNodeWith() throws Exception { Parser parser = new Parser(); parser.setURL("http://www.google.cn"); parser.setEncoding(parser.getEncoding()); NodeVisitor visitor = new NodeVisitor() { public void visitTag(Tag tag) { System.out.println("*************************"); System.out.println(tag.getTagName()); System.out.println("*************************"); } }; parser.visitAllNodesWith(visitor); } @Test public void testElements() throws Exception { Parser parser = new Parser(); parser.setURL("http://www.google.cn"); parser.setEncoding(parser.getEncoding()); NodeIterator iterator = parser.elements(); while(iterator.hasMoreNodes()) { Node node = iterator.nextNode(); System.out.println("*************************"); System.out.println(node.getText()); System.out.println("*************************"); } }
Node接口:这个接口就好像定义了一颗树来表示一个HTML页面,定义获取父子兄弟节点的方法,定义了节点到对应节点的html文本的方法,从上面的图中我们看到有AbstractNode这个类,这个是Node的实现类,起到形成树形结构的作用,在HTML页面中有三种类型的Node,RemarkNode代表html中的注释,TagNode代表标签节点,TextNode代表文本节点。
getChildren():获取子节点,返回一个NodeList对象。
getFirstChildren():获取第一个子节点,返回一个Node对象。
getLastChildren():获取最后一个子节点,返回一个Node对象。
getPreviousSibling():获取前一个兄弟节点。
getNextSibling():获取后一个兄弟节点。
getParent():获取父节点。
getText():获得文本内容。
toPlainTextString():获取纯文本信息。
toHtml():获取Html信息。
accept(NodeVisitor visitor):对这个node应用visitor。
为了方法大家观看,还是自己写一个Html,然后练练方法:
node.html
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd"> <html> <head> <meta http-equiv="Content-Type" content="text/html; charset=UTF-8"> <title>Title Node</title> </head> <body> <!-- remark --> <h1>H1 Node</h1> <div id="d1"> <div id="d2"> <a>Div Node</a> </div> </div> </body> </html>
测试方法:
@Test public void testNode() throws Exception { Parser parser = new Parser(); parser.setURL("src/node.html"); parser.setEncoding(parser.getEncoding()); NodeIterator iterator = parser.elements(); while(iterator.hasMoreNodes()) { Node node = iterator.nextNode(); System.out.println("*************************"); System.out.println("Text:" + node.getText()); System.out.println("PlainText:" + node.toPlainTextString()); System.out.println("ToHtml:" + node.toHtml()); System.out.println("*************************"); } }
Remark接口:这个接口代表了注释。实现类有RemarkNode,这个类代表了注释节点。
getText():获取文本。
setText():设置文本。
Tag接口:这个接口就代表了Html页面的标签,实现类有TagNode,就是标签节点。
getAttribute(String name):根据name拿到该标签的属性,当然有对应的setAttribute方法。
getTagName():拿到这个标签的名字。
toTagHtml():返回这个标签的html。
Text接口:这个接口代表Html的文本,实现类有TextNode,就是文本节点。
getText():拿到文本值。
setText():设置文本值。
NodeFilter接口:这个接口定义的是过滤器,通过各种各样的过滤器可以筛选出特定的节点,具体的应用看下面的org.htmlparser.filters包下的类的应用,
accept(Node node):这个方法的返回值是boolean,方法的作用就是判断要不要保留这个节点。
在org.htmlparser.visitors包下,有一个很重要的类NodeVisitor,下面讲解一下:
NodeVisitor类:通过这个visitor我们可以遍历树的每一个节点,对于一个符合条件的节点,我们还可以进行适当的处理。
visitRemarkNode(Remark remark):访问remark类型的节点,通过重写这个方法可以实现对这个remark类型节点的特定操作。
visitStringNode(Text text):访问Text类型的节点,通过重写这个方法可以实现对这个Text类型节点的特定操作。
visitTag(Tag tag):访问Tag类型的节点,通过重写这个方法可以实现对这个Tag类型节点的特定操作。
小试牛刀:
public class MyVisitor extends NodeVisitor{ public MyVisitor() { } public void visitTag(Tag tag) { if(tag.getTagName().equals("BODY")) System.out.println("**********body**************"); System.out.println("TagName:" + tag.getTagName()); } public void visitStringNode(Text text) { System.out.println("text" + text.getText()); } public static void main(String[] args) throws Exception{ Parser parser = new Parser("src/node.html"); MyVisitor visitor = new MyVisitor(); parser.visitAllNodesWith(visitor); } }
在org.htmlparset.filters包下,有着很多过滤器,每个过滤器类都有自己特定的作用:
判断类Filter:
TagNameFilter
HasAttributeFilter
HasChildFilter
HasParentFilter
HasSiblingFilter
IsEqualFilter
逻辑运算Filter:
AndFilter
NotFilter
OrFilter
XorFilter
其他Filter:
NodeClassFilter
StringFilter
LinkStringFilter
LinkRegexFilter
RegexFilter
CssSelectorNodeFilter
下面是一个关于TagNameFilter的小试牛刀:
@Test public void testTagNameFilter() throws Exception{ Parser parser = new Parser("src/node.html"); NodeFilter filter = new TagNameFilter("DIV"); NodeList nodeList = parser.extractAllNodesThatMatch(filter); if(nodeList != null) { for(int i = 0; i < nodeList.size(); i++) { Node node = nodeList.elementAt(i); System.out.println("Text:" + node.getText()); System.out.println("****************************"); } } }