[Jsoup] 使用HtmlUnit + Jsoup解析js动态生成的网页

    在使用Jsoup过程中会遇到无法解析通过javascript动态生成的html网页, 在Jsoup交流群中也经常会有人问到这个问题, 本文的解决办法是使用HtmlUnit+Jsoup来解析动态dynamic网页。

    一般会出现动态js加载的网页源码为, 某些关键性数据, 比如某简历网站的年份, 薪金等敏感数据信息, 也比如某些网站动态加载出来的新闻, 公告, 也比如某些网站在生成快照的时候的更新时间, 这些都可能是通过js动态生成的DOM元素后进行加载的。

    Jsoup专注的是解析html, 利用类似JQuery的API进行快速解析html, 并没有将自身的定位于模拟浏览器上, 所以并不是现阶段某些人说的Jsoup对于模拟浏览器不足等等, 希望大家在给同事讲解或者写博客的时候注明。而对于模拟浏览器, 进行无窗口化的访问, 有很多优秀的开源框架, 比如HttpClient, 也比如今天介绍的HtmlUnit, 亦或者Selenium。

    “ 现如今为止Jsoup-1.10.4是无法动态加载js内容的, 官方作者Jonathan Hedley给予的回复是：“Javascript is not supported. Jsoup parses HTML.”。
    HtmlUnit和Selenium本身都是做测试的开源框架, 本身Selenium底层也使用了HtmlUnit, 所以在本文直接介绍使用HtmlUnit进行处理动态js加载的Html问题。

    如果是使用Maven构建项目, 请参照如下的配置

   <!-- https://mvnrepository.com/artifact/net.sourceforge.htmlunit/htmlunit -->
    <dependency>
        <groupId>net.sourceforge.htmlunit</groupId>
        <artifactId>htmlunit</artifactId>
        <version>2.29</version>
    </dependency>

示例代码：

    public static void main(String[] args) throws FailingHttpStatusCodeException, MalformedURLException, IOException {
        
        // 屏蔽HtmlUnit等系统 log
        LogFactory.getFactory().setAttribute("org.apache.commons.logging.Log","org.apache.commons.logging.impl.NoOpLog");
        java.util.logging.Logger.getLogger("com.gargoylesoftware").setLevel(Level.OFF);
        java.util.logging.Logger.getLogger("org.apache.http.client").setLevel(Level.OFF);
 
        String url = "https://bluetata.com/";
        System.out.println("Loading page now-----------------------------------------------: "+url);
        
        // HtmlUnit 模拟浏览器
        WebClient webClient = new WebClient(BrowserVersion.CHROME);
        webClient.getOptions().setJavaScriptEnabled(true);              // 启用JS解释器，默认为true
        webClient.getOptions().setCssEnabled(false);                    // 禁用css支持
        webClient.getOptions().setThrowExceptionOnScriptError(false);   // js运行错误时，是否抛出异常
        webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);
        webClient.getOptions().setTimeout(10 * 1000);                   // 设置连接超时时间
        HtmlPage page = webClient.getPage(url);
        webClient.waitForBackgroundJavaScript(30 * 1000);               // 等待js后台执行30秒
 
        String pageAsXml = page.asXml();
        
        // Jsoup解析处理
        Document doc = Jsoup.parse(pageAsXml, "https://bluetata.com/");  
        Elements pngs = doc.select("img[src$=.png]");                   // 获取所有图片元素集
        // 此处省略其他操作
        System.out.println(doc.toString());
        }

注意：

屏蔽htmlunit日志
org.apache.commons.logging.LogFactory这个包会存在找不到方法的错误，需要自己手动导入
http://commons.apache.org/proper/commons-logging/download_logging.cgi