网页异步ajax数据抓取几种解决方案

1.分析出ajax请求地址,直接请求地址

2.使用浏览器内核,比如WebKit,写浏览器插件

3.使用前端的自动化测试工具,比如WebUnit,Selenium

4.使用Phantomjs和Casperjs解析 注:PhantomJS是一个拥有JavaScript API的无界面WebKit。  

 

推荐第4种方式

抓取解析流程:

使用Casperjs加载页面,然后保存文件,再使用你熟练语言解析,你也可以少去保存,直接解析.

 

基于Phantomjs和Casperjs的AJAX爬虫

网页上通过ajax异步加载的数据有什么办法抓取到吗?

使用PhantomJS测试JavaScript

你可能感兴趣的:(爬虫)