python爬虫小项目--飞常准航班信息爬取variflight(上)

很久不更新博客,分享下最近一个小项目 飞常准 。飞常准是飞友科技旗下一个航班信息数据网络品牌。主要为用户提供航空相关数据。目前核心业务为航班动态和便宜机票搜索引擎。飞友科技旗下总有飞友网、飞常准、VariFlight、AirTu等品牌。

废话不多说,开始搞事情。

分析页面,首页有航班号和升降地有列表,要怎么下手呢?等下,怎么数据这么少。

 

python爬虫小项目--飞常准航班信息爬取variflight(上)_第1张图片

哈哈。找到列表入口url

python爬虫小项目--飞常准航班信息爬取variflight(上)_第2张图片

 

上代码请求看有没有数据,个人喜好,也可以在浏览器network和其他工具看。

python爬虫小项目--飞常准航班信息爬取variflight(上)_第3张图片

漂亮!

python爬虫小项目--飞常准航班信息爬取variflight(上)_第4张图片

python爬虫小项目--飞常准航班信息爬取variflight(上)_第5张图片

踩坑了,有的城市没有航班,还加入起降列表中,体验非常不好,都没有为我们爬虫的考虑下,正想着拿起电话打4006-350-787给官网反馈这BUG!

嗯嗯,想下毕竟俺也是有修养的程序员,经过两个小时的发呆,终于把情绪控制住了。继续看看。

突然想起xpath插件,我真是太有材了,按捺不住心中的喜悦,忍不住,来music 蹦了个迪。一个小时又过去。

python爬虫小项目--飞常准航班信息爬取variflight(上)_第6张图片

python爬虫小项目--飞常准航班信息爬取variflight(上)_第7张图片

顿时,领导过来,又被狂虐一把,呜呜呜

python爬虫小项目--飞常准航班信息爬取variflight(上)_第8张图片

continue

python爬虫小项目--飞常准航班信息爬取variflight(上)_第9张图片
挖去,实际起飞时间,实际到达时间,准点率,怎么是个连接。

居然和去哪网一样使用了的字体反爬变身术。

不慌稳住,作为黑寡妇称号的spider工程师,这些淫虫小鸡,噢,不,应该是雕虫小技,还想拦住我。

使用OCR即可(目前最好的开源谷歌图像识别工具),字体还这么工整,还不用收集标本训练呢。爽歪歪。

自己以为的,永远都是自己以为的。

打开图片的连接

python爬虫小项目--飞常准航班信息爬取variflight(上)_第10张图片

顿时  飞友的前端反爬工程师肯定是上昂着圆润嘴角裸露丝丝微笑

继续发呆,狂抓脑袋数小时,抓掉998跟头发的时候,突然让我想起试下手机wap版,点开chrome toggle device toolbar

python爬虫小项目--飞常准航班信息爬取variflight(上)_第11张图片

python爬虫小项目--飞常准航班信息爬取variflight(上)_第12张图片

居然是wap版本就是电脑的缩小版

python爬虫小项目--飞常准航班信息爬取variflight(上)_第13张图片

python爬虫小项目--飞常准航班信息爬取variflight(上)_第14张图片

使用手机APP抓包大法。

平时只用电脑的挨踢程序员没有手机这可怎么办?

工欲善其事,必先利其器于是,花几天写个插件抢了两台小米手机手机。

python爬虫小项目--飞常准航班信息爬取variflight(上)_第15张图片

python爬虫小项目--飞常准航班信息爬取variflight(上)_第16张图片

等着手机开工的啊,再爬不出数据就要被老板当鱿鱼样炒了。

问了那位平时和他聊得比较多,且经常对我眉来眼去的同性同事借了台手机。

挖去,手机壁纸居然是偷拍我背影的图片,这手机透露着巨大信息量!!!

python爬虫小项目--飞常准航班信息爬取variflight(上)_第17张图片

顿时看了看他,他给我抛了个媚眼

python爬虫小项目--飞常准航班信息爬取variflight(上)_第18张图片

还是安装个SDK安卓虚拟机算了

配好环境,调试浏览器能抓到数据。

python爬虫小项目--飞常准航班信息爬取variflight(上)_第19张图片

python爬虫小项目--飞常准航班信息爬取variflight(上)_第20张图片

python爬虫小项目--飞常准航班信息爬取variflight(上)_第21张图片

居然什么数据都没有,一直翻页都没有任何数据

就爬那么一点点数据这么保密干嘛!

python爬虫小项目--飞常准航班信息爬取variflight(上)_第22张图片

 

欲知后事如何,且听下回分解

 

后续还会上代码和和分析!

更新中!更新中!更新中!

 

 

你可能感兴趣的:(爬虫,航班,飞常准,航班信息,航班数据,python分享)