selenium驱动Chrome抓取网页数据

阅读更多

目的:使用selenium抓取数据。
抓取网页数据可以有多种技术方法(这里只列几种):
1.java httpclient+jsoup(对js基本无支持),类似于wget和jsoup。
2.分析对方网站暴露出的接口
3.htmlunit
4.selenium
5.webkit(没有测试过,不过听说chrome内核也是基于webkit的,具体细节不明)

对于以上各种方法的适用场景:
方法1:适合那种禁用js和css就能得到所有你需要的数据的网站(不支持js动态渲染)。
方法2:有时虽然能够找出对方网站暴露的接口。
方法3:可用,但是对js和CSS支持很差(同样的配置,有些网站OK,有些网站死结)。
方法4:可用,但效率比较低(值得理解,本身是为测试开发的框架)。

实际应用中根据自己项目的需要进行取舍,没有一个通用的解决方案。


本人一直讨厌分析网站的接口,一直在selenium上下工夫,希望大幅提高其性能,希望开发一个比较通用的爬虫框架。
使用FirefoxDriver,尝试过各种about:config中的配置(包括内存的和缓存的优化),始终不能达到一个理想的效果,慢。
按照selenium官方的说法:在速度方面,HtmlunitDriver > ChromeDriver > FirefoxDriver
但是Htmlunit对js支持较差,就没尝试。
开始尝试ChromeDriver.
环境:centos6.6 + chrome 最新稳定版。
很多人说centos6无法安装chrome。
但是这里可以解决:http://jingyan.baidu.com/article/4b52d702790ddcfc5c774b17.html


System.setProperty("webdriver.chrome.driver","/home/oscar/chrome/chromedriver");
启动chromedriver的时候会报:“/usr/lib/libstdc++.so.6: version `GLIBCXX_3.4.14' not found”
这里能够解决:http://www.aliyun.com/zixun/content/2_6_518744.html

再起ChromeDriver程序,比较快速稳定(跑了一夜测试程序,没有什么大的问题,目测比FirefoxDriver快1.5-2倍,这个速度很满意了)。


接下来优化其配置信息,看能不能再次提升性能://To be done!!

你可能感兴趣的:(selenium驱动Chrome抓取网页数据)