Python爬取汽车之家所有车型数据,以后买车就用这个参考了

欢迎点击右上角关注小编,除了分享技术文章之外还有很多福利,私信学习资料可以领取包括不限于Python实战演练、大航海计划、BAT内推、学习资料等。

前言

2018年马上就要过去了,经过一年的奋斗,我相信很多小伙伴都是有准备买车的,而且在年底这段时间,4S店生意也是相当的火爆的,今日比不往日,以前买车的时候都是在各个4S店里面问问以价格性能等等,但是现在大多数都是在网上看车子的性能以及价格的,但是这么多的,那款才是心仪的呢,如果手动找的话是不是很麻烦呢?

今天小编就教你爬取汽车之家网站上面的车辆信息!

Python爬虫思路

1.获取所有车型的网页,保存到本地:

2.解析出每个车型的关键js并拼装成一个html,保存到本地。

3.解析出每个车型的数据json,比如var config ,var option , var bag var innerbag..但我就解析了基本信息跟配置信息,其他的无所谓。

4.生成样式文件,保存 到本地。

5.读取样式文件,匹配数据文件,生成正常数据文件

6.到前五步已经可以看到json数据文件都已经是混淆前的了,说明已经爬取成功了。

7.读取数据文件,生成excel

8.最后打开excel文件,给你们看看。

数据量大概有8300的样子。以后买车就用这个参考了。


转载于:https://juejin.im/post/5bfbeb8de51d452273336c1b

你可能感兴趣的:(Python爬取汽车之家所有车型数据,以后买车就用这个参考了)