HtmlParser的使用-爬虫学习(三)

  关于这个HtmlParser的学习资料,网上真的很匮乏,这个好用的东西不要浪费啊,所以我在这里隆重的介绍一下。

  HtmlParser是一个用来解析HTML文件的Java包,主要用于转换盒抽取两个方面。

  利用HtmlParser,你可以实现下面的内容的抽取:

  a.文本抽取  b.链接抽取  c.资源抽取。可以搜集到图像和声音文件等资源

  d.链接检查。保证链接是有用的  e.站点检查,可以查看页面不同版本之间的差异

  利用HtmlParser,你可以利用它的转换功能,主要体现在几个方面:

  a.URL重写。能够修正页面中的错误链接  b.广告清楚。清除页面中的广告内容和指向广告的链接

  c.将HTML页面转化成XML页面  d.HTML页面的清理

  

  我们开始学习了,我们先来看看这个包中的类的大体框架:

              HtmlParser的使用-爬虫学习(三)

  在org.htmlparser包下,有几个接口和类:

    Parser类:这个是HtmlParser的核心类,主要的完成对Html页面的分析工具,通过这个类我们可以得到这个页面的各种信息。

      Parser():无参数的构造方法。

      Parser(String resource):根据String参数构建对象,这个参数可以是URL或者本地文件的路径。

      Parser(URLConnection connection):根据一个URLConnection对象构建对象。

      createParser(String html, String charset):通过路径名创建对象,并且设置编码格式。

      elements():返回这个类的元素节点的迭代器,通过这个迭代器我们遍历页面的节点。

      setURL():设置这个Parser类要解析的页面的地址。

      parset():根据一个NodeFilter,也就是一个过滤器去获取过滤剩下的页面信息。

      visitAllNodeWith(NodeVisitor visitor):通过一个NodeVisitor去遍历所有的节点。

  小试牛刀(这个只是简单的使用,具体的类看下面的介绍):

    @Test

    public void testVisitAllNodeWith() throws Exception {

        Parser parser = new Parser();

        parser.setURL("http://www.google.cn");

        parser.setEncoding(parser.getEncoding());

        NodeVisitor visitor = new NodeVisitor() {

            public void visitTag(Tag tag) {

                System.out.println("*************************");

                System.out.println(tag.getTagName());

                System.out.println("*************************");

            }

        };

        parser.visitAllNodesWith(visitor);

        

    }

    

    @Test

    public void testElements() throws Exception {

        Parser parser = new Parser();

        parser.setURL("http://www.google.cn");

        parser.setEncoding(parser.getEncoding());

        NodeIterator iterator = parser.elements();

        while(iterator.hasMoreNodes()) {

            Node node = iterator.nextNode();

            System.out.println("*************************");

            System.out.println(node.getText());

            System.out.println("*************************");

        }

    }

    Node接口:这个接口就好像定义了一颗树来表示一个HTML页面,定义获取父子兄弟节点的方法,定义了节点到对应节点的html文本的方法,从上面的图中我们看到有AbstractNode这个类,这个是Node的实现类,起到形成树形结构的作用,在HTML页面中有三种类型的Node,RemarkNode代表html中的注释,TagNode代表标签节点,TextNode代表文本节点。

      getChildren():获取子节点,返回一个NodeList对象。

      getFirstChildren():获取第一个子节点,返回一个Node对象。

      getLastChildren():获取最后一个子节点,返回一个Node对象。

      getPreviousSibling():获取前一个兄弟节点。

      getNextSibling():获取后一个兄弟节点。

      getParent():获取父节点。

      getText():获得文本内容。

      toPlainTextString():获取纯文本信息。

      toHtml():获取Html信息。

      accept(NodeVisitor visitor):对这个node应用visitor。

为了方法大家观看,还是自己写一个Html,然后练练方法:

node.html

<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd">

<html>

    <head>

        <meta http-equiv="Content-Type" content="text/html; charset=UTF-8">

        <title>Title Node</title>

    </head>

    <body>

        <!-- remark -->

        <h1>H1 Node</h1>

        <div id="d1">

            <div id="d2">

                <a>Div Node</a>

            </div>

        </div>

    </body>

</html>

 测试方法:

    @Test

    public void testNode() throws Exception {

        Parser parser = new Parser();

        parser.setURL("src/node.html");

        parser.setEncoding(parser.getEncoding());

        NodeIterator iterator = parser.elements();

        while(iterator.hasMoreNodes()) {

            Node node = iterator.nextNode();

            System.out.println("*************************");

            System.out.println("Text:" + node.getText());

            System.out.println("PlainText:" + node.toPlainTextString());

            System.out.println("ToHtml:" + node.toHtml());

            System.out.println("*************************");

        }

    }

 

    Remark接口:这个接口代表了注释。实现类有RemarkNode,这个类代表了注释节点。

      getText():获取文本。

      setText():设置文本。

    Tag接口:这个接口就代表了Html页面的标签,实现类有TagNode,就是标签节点。

      getAttribute(String name):根据name拿到该标签的属性,当然有对应的setAttribute方法。

      getTagName():拿到这个标签的名字。

      toTagHtml():返回这个标签的html。

    Text接口:这个接口代表Html的文本,实现类有TextNode,就是文本节点。

      getText():拿到文本值。

      setText():设置文本值。

    NodeFilter接口:这个接口定义的是过滤器,通过各种各样的过滤器可以筛选出特定的节点,具体的应用看下面的org.htmlparser.filters包下的类的应用,

      accept(Node node):这个方法的返回值是boolean,方法的作用就是判断要不要保留这个节点。

 

  在org.htmlparser.visitors包下,有一个很重要的类NodeVisitor,下面讲解一下:

    NodeVisitor类:通过这个visitor我们可以遍历树的每一个节点,对于一个符合条件的节点,我们还可以进行适当的处理。

      visitRemarkNode(Remark remark):访问remark类型的节点,通过重写这个方法可以实现对这个remark类型节点的特定操作。

      visitStringNode(Text text):访问Text类型的节点,通过重写这个方法可以实现对这个Text类型节点的特定操作。

      visitTag(Tag tag):访问Tag类型的节点,通过重写这个方法可以实现对这个Tag类型节点的特定操作。

小试牛刀:

public class MyVisitor extends NodeVisitor{

    public MyVisitor() {    

    }

    

    public void visitTag(Tag tag) {

        if(tag.getTagName().equals("BODY"))

            System.out.println("**********body**************");

        System.out.println("TagName:" + tag.getTagName());

    }

    

    public void visitStringNode(Text text) {

        System.out.println("text" + text.getText());

    }

    

    public static void main(String[] args) throws Exception{

        Parser parser = new Parser("src/node.html");

        MyVisitor visitor = new MyVisitor();

        parser.visitAllNodesWith(visitor);

        

    }

}

 

  在org.htmlparset.filters包下,有着很多过滤器,每个过滤器类都有自己特定的作用:

    判断类Filter:

      TagNameFilter

      HasAttributeFilter

      HasChildFilter

      HasParentFilter

      HasSiblingFilter

      IsEqualFilter

    逻辑运算Filter:

      AndFilter

      NotFilter

      OrFilter

      XorFilter

    其他Filter:

      NodeClassFilter

      StringFilter

      LinkStringFilter

      LinkRegexFilter

      RegexFilter

      CssSelectorNodeFilter

下面是一个关于TagNameFilter的小试牛刀:

    @Test

    public void testTagNameFilter() throws Exception{

        Parser parser = new Parser("src/node.html");

        NodeFilter filter = new TagNameFilter("DIV");

        NodeList nodeList = parser.extractAllNodesThatMatch(filter);

        if(nodeList != null) {

            for(int i = 0; i < nodeList.size(); i++) {

                Node node = nodeList.elementAt(i);

                System.out.println("Text:" + node.getText());

                System.out.println("****************************");

            }

        }

    }

你可能感兴趣的:(HtmlParser)