htmlunit爬取javascript、Ajax 动态生成的网页；jsoup解析XML文档

    最近接到一个项目，需要爬取一个网站的生成的xml数据。

    刚开始时，觉得这是一个非常容易的事情，以前也用过htmlunit爬取网站。但是写完代码发现连登陆都进不了，何谈爬取数据了。不说直接上代码：

final WebClient webClient = new WebClient(BrowserVersion.INTERNET_EXPLORER_9);// 设置浏览器类型，由于涉及的项目网站只支持ie，所以设置ie9


// htmlunit 对css和javascript的支持不好，所以请关闭之
webClient.getOptions().setCssEnabled(false);
webClient.getOptions().setJavaScriptEnabled(true);//javaScript 一定要打开，否则解析不了js代码
webClient.getOptions().setThrowExceptionOnScriptError(false); //js运行错误时，是否抛出异常
webClient.setAjaxController(new NicelyResynchronizingAjaxController());  //  设置 Ajax控制器，同步执行ajax代码

一下这段代码的意思是，在无法获取网页执行完Ajax的结果，可以考虑直接拼凑 ajax 执行的URI ，从而获得XML格式的数据，再用jsoup进行解析即可得到数据；

			XmlPage datadetailXmlPage = null;
			datadetailXmlPage = webClient
						.getPage("http://XXXXX.ajax?attri1=XXXX&charset-encoding=UTF-8");//1
				
			Document doc = Jsoup.parse(datadetailXmlPage.asXml());
			for (Element e : doc.select("test")) {
			      System.out.println(e.text());
			}

需要注意的是：

       1、在htmlunit 执行js 的过程中，有可能因为网站各种异常导致整个爬取程序运行失败，虽然我们在前面设置了.setThrowExceptionOnScriptError(false)。所以当遇到这种情况时，可以考虑直接绕过该全部页面，这加载某个frame页面