值得每一个学Python爬虫的人，反思的项目总结

阅读本文大概需要3分钟（文末附Python学习资料）

菜鸟独白

我记得以前也有同学问过，到底学哪种语言好,春节又是招聘的旺季！因为我自己是玩数据分析的，比较喜欢探索数据！于是我们在小密圈两周前发一起了一个活动，一起来玩一个实战项目，爬取一些招聘数据。目的就是比较一下Python和Java的求职招聘情况.这是一个非常有意思的活动，我们来分享一下第一期的爬虫实战群的心得和项目的反思，值得你细细读一读！

1.先说一下分析的结果：

目前爬取的是拉勾网的数据：全国Python职位为1689,全国Java职位为4987个，Python那么火爆，怎么只有只有三分之一！于是我仔细看了一下近1700多职位：

Python这1700左右的职位主要是web开发，自动化运维，爬虫工程师等等。Python的主流可不单单是web开发！人工智能才是大餐，于是我又爬取了机器学习，数据挖掘,数据分析等等和Python相关的职位:

• 机器学习：全国有744职位
• 数据挖掘：全国有1190职位
• 数据分析：全国有3113职位

综合来看:Python VS Java ,从数量上看Java还是占优势，当然我们的数据分析是在第三期展开，会深度从多个维度进行对比分析。

也许有的时候结果并不是最重要的，下面来看一下这个爬虫项目的反思，过程有的时候比结果更重要，更值得细细体会！

2.爬虫项目的分析

一个数据分析的过程，一般分几步，数据的爬取->数据的清洗->数据的存储->数据可视化分析->再深一点就是数据挖掘！

用到的知识其实非常多，我们一共分了3期走:

• 第一期是爬取
• 第二期是存储
• 第三期是数据可视化

非常有趣的一个项目，至少我自己是很感兴趣的。

1).安装环境和工具的准备

工欲善其事，必先利其器！第一步是安装环境，推荐Pycharm,当然有人喜欢用sublime,Atom等等都可以，你自己用的顺手就可以了！爬虫用的库可以有很多选择，我们主推requests,解析的库用bs4,xpath,pyquery这些都可以,看你自己用的爽，用的熟练就行！

2).目标网站的分析

这次群里还请到了一位爬虫高手阿蔡的加入，以前一直玩爬虫的。加入了我们的实战群指点大家，拉勾的网站非常熟悉，我们可以有两种方法去爬取

• 手机网站的爬取，手机站点会容易很多，简单分析之后就可以得到网站的数据，几行代码就可以获取的json格式的职位数据集
  
• PC网站的爬取，PC端会稍微复杂一些，因为数据是动态加载的，仔细的分析http请求内容，也很快可以找到入口
  
  3).数据的解析

因为我们返回的是json数据，非常好分析，建议可以用pprint这款神器库先打印一下，找到我们要的职位的数据！

手机端的数据长这样:

 {'city': '上海',

  'company_full_names': '拉扎斯网络科技（上海）有限公司',

  'company_name': '饿了么',

  'create_time': '2018-03-20',

  'positionId': 2779439,

  'positionName': 'Python开发工程师（全栈）',

  'salary': '15k-25k'}

PC端的数据会稍微丰富一些，长这样:

{

 'businessZones': ['东四', '美术馆', '北新桥'],

 'city': '北京',

 'companyFullName': '凡普金科企业发展（上海）有限公司',

 'companyLabelList': ['年底双薪', '节日礼物', '技能培训', '带薪年假'],

 'createTime': '2018-03-22 10:41:03',

 'education': '本科',

 'linestaion': '5号线_东四;5号线_张自忠路;5号线_北新桥;6号线_东四;6号线_南锣鼓巷',

 'positionName': 'Python工程师',

 'salary': '25k-35k',

 'secondType': '后端开发'}

解析字典的时候会区分一下，然后获取总的页数，一般解析第一页就可以看到页数.然后进行循环爬取，进行解析。比如我们要获取职位的名称，职位的公司，职位的薪水，职位的城市和发布日期，这几个特征值，然后保存在一个字典列表里面即可！

4).数据的保存

常见的数据的保存我们一般用csv和json文件保存，csv文件一般都是先写一个头部，然后再把上面的字典列表数据一行一行存储在里面.json文件更方便了， 我们直接建一个文件dump一下就可以保存了

上面走一遍，感觉是不是很容易啊！如果你只看到这里，那么你离进阶又失之交臂了！

2.技术的反思

1).单线程to多线程

• 上面的爬取都是单线程的爬取，职位不是很多，如果几万或者几十万的数据呢！你顺序爬取，很显然太慢，需要考虑并发！
• 并发有多进程，多线程，线程池，或者用协程并发

2).断点续爬

上面的爬取没有考虑异常情况，如果爬取的过程出错了！怎么办，你需要重头爬取，不是一个明智之举，如何断点续传呢：

• 比较常用的做法是保存文件，然后续爬的时候，先检测文件是否存在，如果存在查一下职位的id是否已经在文件中，不在则爬，在则跳过爬下一个！
• 那有没有更好的办法呢，阿蔡建议用Redis来处理，一个牛逼的非常快速的内存数据库，爬取的时候只要监听
  redis数据,思路类似上面的文件爬取.

3).增量爬取

我们的爬取都是当天的数据，如何考虑增量爬取,我们首先要对日期进行处理！拉勾上的职位很多发布日期都是相对时间，比如今天12:10，昨天8：00，如果考虑时间序列的增量，必须要把这些相对时间在爬取的时候，做数据清洗！

3.细节的推敲

• 比如我们保存多个爬取的数据的时候，是用列表存储，还是用双向列表！
• 构建一个字典的时候，如果获取的数据的值为空，比如薪资异常，有没有考虑到用缺省字典
• 我们爬取的时候，有没有考虑异常处理，如果出现了403反爬，是否用了随机代理和构建一个代理池来处理
• 循环保存的时候，要不要用yield迭代器会不会更快一点

当然这些是我想到的一部分，也许还有更多的细节需要推敲和挖掘，把代码写的更好更美,好的代码应该是改出来的，需要不断的重构。

4.兴趣是最大的动力

2周的训练，能坚持下来的并不多，最后交卷的只有四层左右，虽然是一个很小的实战项目！但是在前进的过程中，很多时候会被途中的风景所吸引而忘记了赶路，或者是走到了一般遇到了一些问题和障碍，不一定会坚持越过山丘! 一件事情能否做到底，取决于你对成功的欲望有多强烈，你越渴望成功，你的目标非常清晰，越容易坚持！

最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！
朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

点此免费领取：CSDN大礼包：《python学习路线&全套学习资料》免费分享

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、Python必备开发工具

四、Python视频合集

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

六、Python练习题

检查学习结果。

七、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。


最后，千万别辜负自己当时开始的一腔热血，一起变强大变优秀。