关于htmlunit运行时报各种错的坑

因为项目需要，采用htmlunit爬取带ajax和其他js执行结果的页面，开发环境jdk1.7 和maven

网上很多资料上使用的htmlunit版本的示例使用了之后，老是报错，根本原因就是htmlunit的版本问题或者jar包缺失问题。经过一天多的折腾，终于有一个可以用的示例了。最新的htmlunit不兼容jdk1.7所以使用低版本2.18版的htmlunit

先记录如下：

maven依赖

   net.sourceforge.htmlunit
   htmlunit
   2.18

   xml-apis
   xml-apis
   1.4.01

   org.apache.httpcomponents
   httpclient
   4.5.3

 

代码如下：

 

public static String getBaidu() throws IOException {
        WebClient webClient = new WebClient();
        webClient.getOptions().setJavaScriptEnabled(true);//运行js脚本执行
        webClient.setAjaxController(new NicelyResynchronizingAjaxController());//设置支持AJAX
        webClient.getOptions().setCssEnabled(false);//忽略css
        webClient.getOptions().setUseInsecureSSL(true);//ssl安全访问
        webClient.getOptions().setThrowExceptionOnScriptError(false);  //解析js出错时不抛异常
        webClient.getOptions().setTimeout(10000);  //超时时间  ms

        //获取页面
        String url ="https://www.baidu.com";
        HtmlPage page = webClient.getPage(url);

        System.out.println("页面title文本:"+page.getTitleText());
        System.out.println("-------------------执行js脚本之前");
        System.out.println(page.asXml());//页面文档结构字符串

        webClient.waitForBackgroundJavaScript(5000);   //等待js脚本执行完成
        System.out.println("-------------------执行js脚本后");
        System.out.println(page.asXml());//页面文档结构字符串


        return page.asXml();
    }

把两个html文档通过文本比较工具进行对比，发现确实不同。目的达到了