Phantomjs/Casperjs, HtmlUnit, Selenium在获取Javascript页面时特性对比

阅读更多

Phantomjs/Casperjs, HtmlUnit, Selenium在获取Javascript页面时特性对比

基于Phantomjs 2.0.0/Casperjs 1.1.0-beta3, Htmlunit 2.18, Selenium 2.47.1,在获取Javascript 页面时,对JavaScript engine,session/cookie支持, request url追踪, browser支持,以及访问速度,稳定性等方面进行对比如下：

 

框架/程序 对比项目	JavaScript engine	Cookie	request  [received]  url	Browser	访问速度,稳定性,可扩展性等
Phantomjs/Casperjs	Base on WebKit	支持	支持	Base on  WebKit	访问速度较快，有时程序会crash,支持各种js 框架， 缺点:支持的js有限
HtmlUnit	Rhino	支持	支持	Firefox or Internet Explorer	访问速度最快,比较稳定,支持各种js 框架,可以由页面类容模拟url请求. 缺点:支持的js有限
Selenium	Most engine	支持	不支持	Most Browsers	访问速度太慢，速度也不稳定，而且带有UI,想跨平台必须使用RemoteWebDriver,优点: 支持大部分浏览器
				`

 示例代码:

Phantomjs / Casperjs ：

-Cookie:

 

 

var fs = require('fs');
if(fs.isFile(cookieFile)) {
        phantom.cookies = JSON.parse(fs.read(cookieFile));
}

var cookies = JSON.stringify(phantom.cookies);
fs.write(cookieFile, cookies, 644);

 

-request [received] url:

 

 

casper.on("resource.requested", function(resource){
｝）;

 

 

HtmlUnit：

-Cookie:

 

 

webClient.getCookieManager().addCookie(cookie);
webClient.getCookieManager().getCookies();
webClient.getCookieManager().clearCookies();

 

 

-request [received] url:

 

public static class InterceptWebConnection extends FalsifyingWebConnection{
｝

 

Selenium：

-Cookie:

 

WebDriver driver = ...;
for (Cookie ck : driver.manage().getCookies()) {
		       
		        	javax.servlet.http.Cookie generateCookie = new javax.servlet.http.Cookie(ck.getName(), ck.getValue());
		        	generateCookie.setMaxAge(3600); 
		        	response.addCookie(generateCookie);
	            }