NekoHTML学习笔记

NekoHTML学习笔记<o:p></o:p>

  J. Andrew ClarkJava写了一系列的工具(Java APIs)NekoHTML是其中之一。
  NekoHTML是一个简单地HTML扫描器和标签补偿器(tag balancer) ,使得程序能解析HTML文档并用标准的XML接口来访问其中的信息。这个解析器能投扫描HTML文件并修正许多作者(人或机器)在编写HTML文档过程中常犯的错误。NekoHTML能增补缺失的父元素、自动用结束标签关闭相应的元素,以及不匹配的内嵌元素标签。NekoHTML的开发使用了Xerces Native Interface (XNI),后者是Xerces2的实现基础。<o:p></o:p>

   <o:p></o:p>

一、运行要求<o:p></o:p>

  从NekoHTML主页上下载nekohtml-latest.zip,目前版本是0.8.
  NekoHTML要求运行在java1.1或更高版本,Xerces-J 2.0或更高版本。(我在试用时,随便拿了个xerces的包来用,结果例如运行老时不能通过,折腾半天后才发现版本不够所致.:)
   <o:p></o:p>

二、使用NekoHTML<o:p></o:p>


1
、透明地创建HTML解析器
  利用Xerces2.0为基础,应用程序通过JAXP实例化解析器对象时,可以透明地创建HTML解析器,此时只需要将NekoHTMLjar文件,在CLASSPATH中放在Xercesjar文件之前即可。nekohtmlXni.jar中的META-INF/services/org.apache.xerces.xni.parser.XMLParserConfiguration文件会被Xerces的读取并取代标准的设置文件,此处org.apache.xerces.xni.parser.XMLParserConfiguration文件的内容就是一个字符串“org.cyberneko.html.HTMLConfiguration”。这种方法的好处是简单透明,缺点是影响了Xerces在其它情况下的使用。 <o:p></o:p>

2、便利的HTML解析器类
  要想避免上述的问题,可以使用org.cyberneko.html.parsers包的DOMSAX解析器类来创建解析器,这两个类都使用了HTMLConfiguration类。解析器一旦创建之后,就可以解析HTML文件,并用标准的XML接口来访问文件中的信息,就象面对的是一个XML文件一样。
  下面的代码是NekoHTML自带的例程,我改了一下,使其可以显示HTML文件内容,而不显示类的名字。 <o:p></o:p>

package sample;<o:p></o:p>

<o:p> </o:p>

<o:p> </o:p>

import org.cyberneko.html.parsers.DOMParser;
<!---->
<!----><o:p></o:p>

import org.w3c.dom.Document;
<!---->
<!----><o:p></o:p>

import org.w3c.dom.Node;<o:p></o:p>

<o:p> </o:p>

<o:p> </o:p>

public class TestHTMLDOM {
<!---->
<!----><o:p></o:p>

    public static void main(String[] argv) throws Exception {
<!---->
<!----><o:p></o:p>

        DOMParser parser = new DOMParser();
<!---->
<!----><o:p></o:p>

        for (int i = 0; i < argv.length; i++) {
<!---->
<!----><o:p></o:p>

            parser.parse(argv[i]);
<!---->
<!----><o:p></o:p>

            print(parser.getDocument(), "");
<!---->
<!----><o:p></o:p>

        }
<!---->
<!----><o:p></o:p>

    }
<!---->
<!----><o:p></o:p>

    public static void print(Node node, String indent) {
<!---->
<!----><o:p></o:p>

//        System.out.println(indent+node.getClass().getName());
<!---->
<!----><o:p></o:p>

        if (node.getNodeValue() != null){
<!---->
<!----><o:p></o:p>

            if("".equals(node.getNodeValue().trim())){
<!---->
<!----><o:p></o:p>

            }else{
<!---->
<!----><o:p></o:p>

            System.out.print(indent);
<!---->
<!----><o:p></o:p>

            System.out.println(node.getNodeValue());
<!---->
<!----><o:p></o:p>

               }
<!---->
<!----><o:p></o:p>

        }
<!---->
<!----><o:p></o:p>

       
<!---->
<!----><o:p></o:p>

        Node child = node.getFirstChild();
<!---->
<!----><o:p></o:p>

        while (child != null) {
<!---->
<!----><o:p></o:p>

            print(child, indent+" ");
<!---->
<!----><o:p></o:p>

            child = child.getNextSibling();
<!---->
<!----><o:p></o:p>

        }
<!---->
<!----><o:p></o:p>

    }
<!---->
<!----><o:p></o:p>

}
<!---->
<!----><o:p></o:p>

编译运行如下: <o:p></o:p>

cd $NEKOHTML_HOME
cp build_html.xml build.xml
ant
java -cp nekohtml.jar;nekohtmlSamples.jar;xmlParserAPIs.jar;xercesImpl.jar sample.TestHTMLDOM test.html<o:p></o:p>


如果一切正常可以显示HTML的内容了。
3
、文档片段解析
  除了DOMSAX类,NekoHTML还提供了一个实验性质的DOMFragmentParser类,用以解析HTML文件的片段。我个人认为,由于浏览器的强大的容错能力,即使一个片段的HTML文件,也可以正确显示,由此也变相地造成了很多人不再关心的HTML的完整要求了。这个类,也许将是用的最多的。下面,看看nutch是如何使用nekoHTML的。 <o:p></o:p>

package net.nutch.fetcher;
<!---->
<!----><o:p></o:p>

...
<!---->
<!----><o:p></o:p>

import org.cyberneko.html.parsers.*;
<!---->
<!----><o:p></o:p>

import org.xml.sax.*;
<!---->
<!----><o:p></o:p>

import org.w3c.dom.*;
<!---->
<!----><o:p></o:p>

import org.w3c.dom.html.*;
<!---->
<!----><o:p></o:p>

import org.apache.html.dom.*;<o:p></o:p>

<o:p> </o:p>

<o:p> </o:p>

/* A simple fetcher. */
<!---->
<!----><o:p></o:p>

public class Fetcher {
<!---->
<!----><o:p></o:p>

        ....
<!---->
<!----><o:p></o:p>

    private DOMFragmentParser parser = new DOMFragmentParser();
<!---->
<!----><o:p></o:p>

        ....
<!---->
<!----><o:p></o:p>

    private void handleFetch(URL url, FetchListEntry fle, Http.Response response)
<!---->
<!----><o:p></o:p>

      throws IOException, SAXException {
<!---->
<!----><o:p></o:p>

     
<!---->
<!----><o:p></o:p>

      //判断HTTP应答包的类型,只放过html文件
<!---->
<!----><o:p></o:p>

      String contentType = response.getHeader("Content-Type");
<!---->
<!----><o:p></o:p>

      if (contentType != null && !contentType.startsWith("text/html"))
<!---->
<!----><o:p></o:p>

        throw new IOException("Unknown content-type: " + contentType);
<!---->
<!----><o:p></o:p>

      //创建文件片段对象
<!---->
<!----><o:p></o:p>

      DocumentFragment node = new HTMLDocumentImpl().createDocumentFragment();
<!---->
<!----><o:p></o:p>

      //解析HTML内容
<!---->
<!----><o:p></o:p>

      parser.parse(new InputSource(new ByteArrayInputStream(response.getContent())),node);
<!---->
<!----><o:p></o:p>

      //取得全部文本内容
<!---->
<!----><o:p></o:p>

      StringBuffer sb = new StringBuffer();
<!---->
<!----><o:p></o:p>

      getText(sb, node);
<!---->
<!----><o:p></o:p>

      String text = sb.toString();
<!---->
<!----><o:p></o:p>

      //取得标题信息
<!---->
<!----><o:p></o:p>

      sb.setLength(0);
<!---->
<!----><o:p></o:p>

      getTitle(sb, node);
<!---->
<!----><o:p></o:p>

      String title = sb.toString().trim();
<!---->
<!----><o:p></o:p>

      //取得该页所有的出链
<!---->
<!----><o:p></o:p>

      ArrayList l = new ArrayList();
<!---->
<!----><o:p></o:p>

      getOutlinks(url, l, node);
<!---->
<!----><o:p></o:p>

     
<!---->
<!----><o:p></o:p>

      //显示结果,存储信息
<!---->
<!----><o:p></o:p>

      Outlink[] outlinks = (Outlink[])l.toArray(new Outlink[l.size()]);
<!---->
<!----><o:p></o:p>

      LOG.fine("found " + outlinks.length + " outlinks in " + url);<o:p></o:p>

<o:p> </o:p>

<o:p> </o:p>

      outputPage(new FetcherOutput(fle, MD5Hash.digest(response.getContent()),
<!---->
<!----><o:p></o:p>

                                   true, title, outlinks),
<!---->
<!----><o:p></o:p>

                 new FetcherContent(response.getContent()),
<!---->
<!----><o:p></o:p>

                 new FetcherText(text));
<!---->
<!----><o:p></o:p>

    }
<!---->
<!----><o:p></o:p>

  private static void getText(StringBuffer sb, Node node) {
<!---->
<!----><o:p></o:p>

    if (node.getNodeType() == Node.TEXT_NODE) {
<!---->
<!----><o:p></o:p>

      sb.append(node.getNodeValue());//取得结点值,即开始与结束标签之间的信息
<!---->
<!----><o:p></o:p>

    }
<!---->
<!----><o:p></o:p>

    NodeList children = node.getChildNodes();
<!---->
<!----><o:p></o:p>

    if ( children != null ) {
<!---->
<!----><o:p></o:p>

      int len = children.getLength();
<!---->
<!----><o:p></o:p>

      for ( int i = 0; i < len; i++ ) {
<!---->
<!----><o:p></o:p>

        getText(sb, children.item(i));//递归遍历DOM
<!---->
<!----><o:p></o:p>

      }
<!---->
<!----><o:p></o:p>

    }
<!---->
<!----><o:p></o:p>

  }<o:p></o:p>

<o:p> </o:p>

<o:p> </o:p>

  private static boolean getTitle(StringBuffer sb, Node node) {
<!---->
<!----><o:p></o:p>

    if (node.getNodeType() == Node.ELEMENT_NODE) {
<!---->
<!----><o:p></o:p>

      if ("title".equalsIgnoreCase(node.getNodeName())) {
<!---->
<!----><o:p></o:p>

        getText(sb, node);
<!---->
<!----><o:p></o:p>

        return true;
<!---->
<!----><o:p></o:p>

      }
<!---->
<!----><o:p></o:p>

    }
<!---->
<!----><o:p></o:p>

    NodeList children = node.getChildNodes();
<!---->
<!----><o:p></o:p>

    if (children != null) {
<!---->
<!----><o:p></o:p>

      int len = children.getLength();
<!---->
<!----><o:p></o:p>

      for (int i = 0; i < len; i++) {
<!---->
<!----><o:p></o:p>

        if (getTitle(sb, children.item(i))) {
<!---->
<!----><o:p></o:p>

          return true;
<!---->
<!----><o:p></o:p>

        }
<!---->
<!----><o:p></o:p>

      }
<!---->
<!----><o:p></o:p>

    }
<!---->
<!----><o:p></o:p>

    return false;
<!---->
<!----><o:p></o:p>

  }<o:p></o:p>

<o:p> </o:p>

<o:p> </o:p>

  private static void getOutlinks(URL base, ArrayList outlinks, Node node) {
<!---->
<!----><o:p></o:p>

    if (node.getNodeType() == Node.ELEMENT_NODE) {
<!---->
<!----><o:p></o:p>

      if ("a".equalsIgnoreCase(node.getNodeName())) {
<!---->
<!----><o:p></o:p>

        StringBuffer linkText = new StringBuffer();
<!---->
<!----><o:p></o:p>

        getText(linkText, node);<o:p></o:p>

<o:p> </o:p>

<o:p> </o:p>

        NamedNodeMap attrs = node.getAttributes();
<!---->
<!----><o:p></o:p>

        String target= null;
<!---->
<!----><o:p></o:p>

        for (int i= 0; i < attrs.getLength(); i++ ) {
<!---->
<!----><o:p></o:p>

          if ("href".equalsIgnoreCase(attrs.item(i).getNodeName())) {
<!---->
<!----><o:p></o:p>

            target= attrs.item(i).getNodeValue();//DOM树中,属性是一个结点。
<!---->
<!----><o:p></o:p>

            break;
<!---->
<!----><o:p></o:p>

          }
<!---->
<!----><o:p></o:p>

        }
<!---->
<!----><o:p></o:p>

        if (target != null)
<!---->
<!----><o:p></o:p>

          try {
<!---->
<!----><o:p></o:p>

            URL url = new URL(base, target);
<!---->
<!----><o:p></o:p>

            outlinks.add(new Outlink(url.toString(),linkText.toString().trim()));
<!---->
<!----><o:p></o:p>

          } catch (MalformedURLException e) {
<!---->
<!----><o:p></o:p>

            // don't care
<!---->
<!----><o:p></o:p>

          }
<!---->
<!----><o:p></o:p>

      }
<!---->
<!----><o:p></o:p>

    }
<!---->
<!----><o:p></o:p>

    NodeList children = node.getChildNodes();
<!---->
<!----><o:p></o:p>

    if ( children != null ) {
<!---->
<!----><o:p></o:p>

      int len = children.getLength();
<!---->
<!----><o:p></o:p>

      for ( int i = 0; i < len; i++ ) {
<!---->
<!----><o:p></o:p>

        getOutlinks(base, outlinks, children.item(i));//递归遍历DOM
<!---->
<!----><o:p></o:p>

      }
<!---->
<!----><o:p></o:p>

    }
<!---->
<!----><o:p></o:p>

  }    
<!---->
<!----><o:p></o:p>

  ....
<!---->
<!----><o:p></o:p>

}<o:p></o:p>


注意,此处传递给解析过程parse的文档片段对象,必须是由org.w3c.dom.html.HTMLDocument类型的DOM文档对象创建,否则有异常。
  HTMLConfiguration可以用于创建任何基于XNI解析器,可参考下例 <o:p></o:p>

package sample;<o:p></o:p>

<o:p> </o:p>

<o:p> </o:p>

import org.apache.xerces.parsers.AbstractSAXParser;
<!---->
<!----><o:p></o:p>

import org.cyberneko.html.HTMLConfiguration;<o:p></o:p>

<o:p> </o:p>

<o:p> </o:p>

public class HTMLSAXParser extends AbstractSAXParser {
<!---->
<!----><o:p></o:p>

    public HTMLSAXParser() {
<!---->
<!----><o:p></o:p>

        super(new HTMLConfiguration());
<!---->
<!----><o:p></o:p>

    }
<!---->
<!----><o:p></o:p>

}
<!---->
<!----><o:p></o:p>

三、设置解析器参数<o:p></o:p>

  为了更加精确的控制解析的动作,nekohtml提供了相应的设置函数。如下列: <o:p></o:p>

// settings on HTMLConfiguration
<!---->
<!----><o:p></o:p>

org.apache.xerces.xni.parser.XMLParserConfiguration config =
<!---->
<!----><o:p></o:p>

  new org.cyberneko.html.HTMLConfiguration();
<!---->
<!----><o:p></o:p>

config.setFeature("http://cyberneko.org/html/features/augmentations", true);
<!---->
<!----><o:p></o:p>

config.setProperty("http://cyberneko.org/html/properties/names/elems", "lower");<o:p></o:p>

<o:p> </o:p>

<o:p> </o:p>

// settings on DOMParser
<!---->
<!----><o:p></o:p>

org.cyberneko.html.parsers.DOMParser parser =
<!---->
<!----><o:p></o:p>

  new org.cyberneko.html.parsers.DOMParser();
<!---->
<!----><o:p></o:p>

parser.setFeature("http://cyberneko.org/html/features/augmentations", true);
<!---->
<!----><o:p></o:p>

parser.setProperty("http://cyberneko.org/html/properties/names/elems", "lower");
<!---->
<!----><o:p></o:p>

<o:p> </o:p>

nekohtml功能(feature)列表<o:p></o:p>

功能<o:p></o:p>

默认值<o:p></o:p>

描述<o:p></o:p>

http://cyberneko.org/html/features/balance-tags <o:p></o:p>

True<o:p></o:p>

是否允许增补缺失的标签。如果要以XML方式操作HTML文件,此值必须为真。此处提供设置功能,为了性能的原因。<o:p></o:p>

http://cyberneko.org/html/features/balance-tags/ignore-outside-content <o:p></o:p>

False<o:p></o:p>

是否忽略文档根元素以后的数据。如果为false<html><bod>被忽略,所有的内容都被解析。<o:p></o:p>

http://cyberneko.org/html/features/document-fragment <o:p></o:p>

False<o:p></o:p>

解析HTML片段时是否作标签增补。此功能不要用在DOMParser上,而要用在DOMFragmentParser上。<o:p></o:p>

http://apache.org/xml/features/scanner/notify-char-refs <o:p></o:p>

False<o:p></o:p>

当遇到字符实体引用(如&#x20;)是否将(#x20)报告给相应地文档处理器。<o:p></o:p>

http://apache.org/xml/features/scanner/notify-builtin-refs <o:p></o:p>

False<o:p></o:p>

当遇到XML内建的字符实体引用(如&amp;)是否将(amp)报告给相应地文档处理器。<o:p></o:p>

http://cyberneko.org/html/features/scanner/notify-builtin-refs <o:p></o:p>

False<o:p></o:p>

当遇到HTML内建的字符实体引用(如&copy;)是否将(copy)报告给相应地文档处理器。<o:p></o:p>

你可能感兴趣的:(apache,html,xml,浏览器,ant)