去哪儿网代理网站机票价格采集方案

 

原文作者：西安鲲之鹏

原文链接：http://http://www.site-digger.com/html/articles/20120509/33.html

 去哪儿网的代理网站有自己独立的机票搜索接口，例如http://xyx.trade.qunar.com/site/。

 

搜索结果使用Ajax动态加载，服务端返回的数据是JSON格式的。

难点在于返回的价格数据是加密的，返回价格与真实的价格之间有很大的偏差。在客户端使用JS进行解密，显示到页面的价格是正确的。由于解密算法非常复杂，实现难度很大。

鲲鹏数据技术人员通过Webkit模拟浏览器进行采集，绕过了该加密措施，成功采集到机票价格数据。

 

程序截图如下所示：

 

 

采集结果截图如下所示：

 

 

特别说明：该文章为西安鲲之鹏的原创文章 ，你除了可以发表评论外，还可以转载到你的网站或博客，但是请保留源地址，谢谢!!（尊重他人劳动，你我共同努力）