phantomjs简介
phantomjs实现了一个无界面的webkit浏览器。虽然没有界面,但dom渲染、js运行、网络访问、canvas/svg绘制等功能都很完备,在页面抓取、页面输出、自动化测试等方面有广泛的应用。
对于深层ajax网站的爬虫,phantomjs这种无界面浏览器简直就是这种网站的杀手,虽然效率远非curl ,但结果是妥妥的, 有时候分析js代码实在是头疼。
1.phantomjs编译
sudo apt-get install build-essential chrpath git-core libssl-dev libfontconfig1-dev libxft-dev git clone git://github.com/ariya/phantomjs.git cd phantomjs git checkout 1.9 ./build.sh编译完成之后。bin目录下面就是 我们需要的 phantomjs了 。
进入bin目录输入
./phantonjs -v就可以查看版本号
当前版本 :2.0.0
2.casperjs编译
git clone git://github.com/n1k0/casperjs.git
当前版本:1.1-beat3
casperjs如果下载压缩包,一定会报错,需要修改bootstrap.js文件才能够正常运行。
强烈建议从github上面下载 。
3.将phantomjs 和casperjs 移动到 /usr/local/src/下面
cp -R /phamtomjs/ /usr/local/src/ cp -R /casperjs/ /usr/local/src/
4.建立链接
ln -sf /usr/local/src/casperjs/bin/casperjs /usr/local/bin/casperjs ln -sf /usr/local/src/phantomjs/bin/phantomjs /usr/local/bin/phantomjs