Phantomjs/Casperjs, HtmlUnit, Selenium在获取Javascript页面时特性对比

阅读更多
Phantomjs/Casperjs, HtmlUnit, Selenium在获取Javascript页面时特性对比

基于Phantomjs 2.0.0/Casperjs 1.1.0-beta3, Htmlunit 2.18, Selenium 2.47.1,在获取Javascript 页面时,对JavaScript engine,session/cookie支持, request url追踪, browser支持,以及访问速度,稳定性等方面进行对比如下:

 

 

框架/程序

对比项目

JavaScript engine

Cookie

request 

[received] 

url

Browser

访问速度,稳定性,可扩展性等

Phantomjs/Casperjs

Base on WebKit

支持

支持

Base on 

WebKit

访问速度较快,有时程序会crash,支持各种js 框架,

缺点:支持的js有限

HtmlUnit

Rhino

支持

支持

Firefox or Internet Explorer

访问速度最快,比较稳定,支持各种js 框架,可以由页面类容模拟url请求缺点:支持的js有限

Selenium

Most engine

支持

不支持

Most Browsers

访问速度太慢,速度也不稳定,而且带有UI,想跨平台必须使用RemoteWebDriver,优点: 支持大部分浏览器

 

 

 

 

`

 

 示例代码:

Phantomjs / Casperjs

-Cookie:

 

 

var fs = require('fs');
if(fs.isFile(cookieFile)) {
        phantom.cookies = JSON.parse(fs.read(cookieFile));
}

var cookies = JSON.stringify(phantom.cookies);
fs.write(cookieFile, cookies, 644);

 

-request [received] url:

 

 

casper.on("resource.requested", function(resource){
});

 

 

HtmlUnit

-Cookie:

 

 

webClient.getCookieManager().addCookie(cookie);
webClient.getCookieManager().getCookies();
webClient.getCookieManager().clearCookies();

 

 

-request [received] url:

 

public static class InterceptWebConnection extends FalsifyingWebConnection{
}

 

Selenium

-Cookie:

 

WebDriver driver = ...;
for (Cookie ck : driver.manage().getCookies()) {
		       
		        	javax.servlet.http.Cookie generateCookie = new javax.servlet.http.Cookie(ck.getName(), ck.getValue());
		        	generateCookie.setMaxAge(3600); 
		        	response.addCookie(generateCookie);
	            }

 

 

 

 

 

 

你可能感兴趣的:(Phantomjs,Casperjs,HtmlUnit,Selenium)