这几天对JS动态网页的爬取做了一下研究,主要涉及到的对象有HtmlUnit、HttpUnit、Selenium WebDriver、CasperJs和HttpClient模拟等操作。我们可以通过对天猫商品的促销价爬取来对他们进行下对比。
测试网页如下:
http://detail.tmall.com/item.htm?spm=0.0.0.0.HkxFxe&id=520129049356
促销价在天猫的网站上是动态生成的,在源码中是看不到的。
1 HtmlUnit
HtmlUnit是一款开源的Java 页面分析工具,读取页面后,可以有效的使用HtmlUnit分析页面上的内容。项目可以模拟浏览器运行,被誉为java浏览器的开源实现。它对于动态生成的数据提供了支持,使我们能够得到ajax执行后的源代码。而且它操作简单只需将相关的jar包引入便可使用。
测试代码:
public class HtmlUnitTest { String url = "http://detail.tmall.com/item.htm?spm=0.0.0.0.HkxFxe&id=520129049356"; static WebClient webClient;
@BeforeClass public static void init() { // 指定浏览器,并指定浏览器模拟的版本; webClient = new WebClient(BrowserVersion.CHROME); // webclient参数载体 WebClientOptions clientOptions = webClient.getOptions(); ProxyConfig proxyConfig = new ProxyConfig(); proxyConfig.setProxyHost("proxy.asiainfo.com"); proxyConfig.setProxyPort(8080); // 设置webClient的相关参数 clientOptions.setJavaScriptEnabled(true); clientOptions.setCssEnabled(false); clientOptions.setTimeout(10000); clientOptions.setThrowExceptionOnScriptError(false); clientOptions.setProxyConfig(proxyConfig); webClient.setAjaxController(new NicelyResynchronizingAjaxController()); }
@Test public void test() { long start = System.currentTimeMillis(); // 模拟浏览器打开一个目标网址 HtmlPage rootPage; try { rootPage = webClient.getPage(url); HtmlElement htmlElement = rootPage.getBody(); String xmlContent = htmlElement.asXml(); long end = System.currentTimeMillis(); System.out.println("time:" + (end - start)); System.out.println(xmlContent); // 测试js生成的部分是否加载成功 Document doc = Jsoup.parse(xmlContent); Elements select = doc.select("#J_PromoPrice .tm-price"); if (select != null && select.size() > 0) { String text = select.get(0).text(); System.out.println(text); } } catch (FailingHttpStatusCodeException e) { e.printStackTrace(); } catch (MalformedURLException e) { e.printStackTrace(); } catch (IOException e) { e.printStackTrace(); } } } |
执行结果:
通过代码及测试我们会发现,它简单易用,但是在抓取时间上耗时还是很多的。
2 HttpUnit
上面谈到HtmlUnit我们还要提一下这个HttpUnit,名字相似、功能相似,如果不注意往往会混淆。网上搜索HttpUnit的官方文档,你会发现它的版本已经有好几年没有更新了,而且对ajax动态数据的解析不支持,无法解决我们现有的问题,放弃。
3 Selenium WebDriver
现在的网络访问不了官方网站,只能从其他地方收集一些资料,它包含了多种Driver,如下图所示:
1)HtmlUnitDriver
从这些子类中我们可以看出Selenium包含了HtmlUnitDriver,通过查看源码以及使用发现它实际上就是调用的HtmlUnit的部分方法,不过与HtmlUnit不同的是它并没有提供Ajax支持,因此对于天猫这类的网页它是解析不了促销价格的。
2)各种浏览器Driver
我们在使用时,不同的浏览器需要配置不同的参数来指定浏览器的安装路径。每次初始化操作都会打开一个浏览器。下面让我们以火狐浏览器为例:
测试代码:
public class SelenimuWebDriverTest { WebDriver webDriver; String url = "http://detail.tmall.com/item.htm?spm=0.0.0.0.HkxFxe&id=520129049356";
@Before public void setUp() { DesiredCapabilities capability = DesiredCapabilities.firefox(); capability.setCapability("firefox_binary", "E:\\Program Files\\Mozilla Firefox\\firefox.exe"); webDriver = new FirefoxDriver(capability);// 初始化一个火狐浏览器 webDriver.manage().window().maximize(); // 最大化浏览器 }
@Test public void test1() throws Exception { long start = System.currentTimeMillis(); webDriver.get(url); String pageSource = webDriver.getPageSource(); long end = System.currentTimeMillis(); System.out.println("time:" + (end - start)); Document doc = Jsoup.parse(pageSource); Elements select = doc.select("#J_PromoPrice .tm-price"); if (select != null && select.size() > 0) { String result = select.get(0).text(); System.out.println(result); } else { System.out.println("no result"); } webDriver.close(); } } |
执行结果:
从网页的抓取时间上来说,它的效率还是可以的,初始化浏览器的过程我们需要注意防止浏览器打开过多,以免耗时且耗资源。并且这个在使用的时候有时候打开浏览器的时候会提示导入向导,这种还需要调整浏览器的配置参数。
3)PhantomJSDriver
PhantomJSDriver的使用非常简单、接近真实浏览器且不需要打开浏览器,因此,直接创建一个PhantomJSDriver对象就可以用了。前提是需要安装phantomjs并且配置好环境变量,不过这一步是非常简单的。
测试代码:
@Before public void setUp() { webDriver = new PhantomJSDriver(); } //其他同上 |
结果:
这个用起来还是很方便的,不知道是否是网络的原因,测试过程中抓取时间的变化在2s-7s范围波动,从抓取来看时间也不是最慢的,简单易用。
4 CasperJs
由于最先研究的是这个东西,在此还是要先简单说一下吧。
CasperJS[1] 是一个开源的导航脚本处理和测试工具,基于PhantomJS(前端自动化测试工具)编写。CasperJS简化了完整的导航场景的过程定义,提供了用于完成常见任务的实用的高级函数、方法和语法。它的写法与JS、Jquery的方法类似,我们可以在他的脚本中使用js或者Jquery的函数。
由于官方文档写的不是很详细,因此对于初学者来说也是有一定难度的。且它的抓取效率也是秒级的。由于它不是Java编写的,因此我们需要通过相关的方法来调用脚本。它是基于PhantomJS的,因此我们也需要安装PhantomJS,配置相关的环境变量。
官方地址http://docs.casperjs.org/en/latest/installation.html
调用CasperJs的脚本,来得到页面源代码,示例代码如下:
public static void useSperjs() { String url = "http://detail.tmall.com/item.htm?spm=a220m.1000858.1000725.1.MbFIev&id=45844061725&skuId=93180315832&areaId=110000&cat_id=52810004&rn=21d1496d974e4f9984611fad013f1696&user_id=728628560&is_b=1"; long start = System.currentTimeMillis(); try { Process exec = Runtime.getRuntime().exec("casperjs D:/jade/casperjs/jadeFile/test.js --url=" + url); InputStream in = exec.getInputStream(); InputStreamReader isr = new InputStreamReader(in, "gbk"); BufferedReader br = new BufferedReader(isr); String line = null; StringBuilder sb = new StringBuilder(); while ((line = br.readLine()) != null) { sb.append(line + "\n\r"); } System.out.println(sb.toString()); } catch (IOException e) { e.printStackTrace(); } long end = System.currentTimeMillis(); System.out.println("casperjs time:" + (end - start) / 1000); } |
示例脚本如下:
//test.js var casper = require('casper').create({ verbose: false, logLevel: 'debug', waitTimeout: 10000, pageSettings:{ loadImages: false, // The WebPage instance used by Casper will loadPlugins: false // use these settings } }); phantom.outputEncoding = "gbk";//解决乱码问题 phantom.cookiesEnabled = true; var url =casper.cli.get('url');
casper.start(url, function() { this.scrollToBottom(); casper.GetDetailUrl(url); });
casper.GetDetailUrl = function(detailUrl) { casper.thenOpen(detailUrl, function() { console.log(this.getCurrentUrl()); }); };
casper.then(function getPic() { return this.echo(this.getHTML()); }); casper.run(); |
我们可以通过上述的方式来得到AJax加载后的源代码,然后通过流的方式取得页面的源码,不过这个需要我们掌握CasperJs脚本的编写规则。在性能方面也是秒级的。
5 HttpClient模拟请求
这种情况相对于前面所有的方法来说就比较复杂了,因为它需要我们对网页进行分析,由于不同的网站结构不一样,因此采用这种方式需要我们对网页请求进行分析。一般都需要借助一些专业的工具如httpwatch等。
比如我们要提取价格,我们需要找到价格对应的请求链接,然后再去请求数据,这种情况在提取多个属性信息的时候也是不方便的,因为涉及到多次请求,而且一般不具有通用性。好处是httpclient抓取性能较高,抓取效率是毫秒级的。
6 总结
从简单的测试结果来看,我认为HtmlUnit、Selenium WebDriver的PhantomJSDriver都是不错的选择,模拟浏览器简单易用且都能满足我们目前的需求。
以上是我这几天的调查结果,有很多的不足之处,对于本人粗陋的总结,对于后期的工作就当是抛砖引玉吧。