htmlparser lexer解析网页源代码

有时候我们在解析网页源代码时需要的不是整个页面的源代码，而是其中的文本内容，这时可以使用htmlparser这个开源工具来进行相应的操作。下面是一个例子，这个例子比较简单，主要是理解这个工具中的一些类的作用：

public static String html2Text() {
		ConnectionManager manager;
		Lexer lexer;
		Node node;
		manager = Page.getConnectionManager();
		StringBuilder textSB = new StringBuilder();
		StringBuilder tagSB = new StringBuilder();
		StringBuilder remarkSB = new StringBuilder();
		//StringBuilder abstractSB = new StringBuilder();
		try {
			lexer = new Lexer(manager.openConnection("http://www.baidu.com"));
			while ((node = lexer.nextNode()) != null) {
				if (node instanceof TextNode) {
					textSB.append(node.toHtml());
				} else if (node instanceof TagNode) {
					tagSB.append(node.toHtml());
				} else if (node instanceof RemarkNode) {
					remarkSB.append(node.toHtml());
				} else if (node instanceof AbstractNode) {
					//abstractSB.append(node.toHtml());
				}
			}
			return textSB.toString() + "\r\n" + "--------" + tagSB.toString()
					+ "\r\n" + "--------" + remarkSB.toString() + "\r\n"
					+ "-------" 
					//+ abstractSB.toString()
					;
		} catch (Exception e) {
			throw new RuntimeException();
		}
	}

下面来分析一下这个工具中的一些主要的类：

ConnctionManger是进行连接网页的一个类，Lexer可以通过构造函数传递一个URLConnection，这时就可以获得网页的内容，Lexer就像是一个包装器，将网页的内容包装起来，然后可以通过Lexer中的方法进行网页的内容获取。Lexer的nextNode就是开始获取网页的节点了，返回的Node类被AbstractNode所实现，并且TextNode，TagNode，RemarkNode是AbstractNode的子类。TextNode是网页中的所有文本节点，TagNode是网页中的所有标签节点，RemarkNode是网页中的所有注释节点。AbstractNode中提供了访问网页的开始位置和结束位置，子节点的父节点和子节点的list等方法。所以在TextNode，TagNode，RemarkNode中也可以使用这些方法来获取相应的信息。