值得每一个学Python爬虫的人,反思的项目总结

阅读本文大概需要3分钟(文末附Python学习资料)

菜鸟独白

我记得以前也有同学问过,到底学哪种语言好,春节又是招聘的旺季!因为我自己是玩数据分析的,比较喜欢探索数据!于是我们在小密圈两周前发一起了一个活动,一起来玩一个实战项目,爬取一些招聘数据。目的就是比较一下Python和Java的求职招聘情况.这是一个非常有意思的活动,我们来分享一下第一期的爬虫实战群的心得和项目的反思,值得你细细读一读!

1.先说一下分析的结果:

目前爬取的是拉勾网的数据:全国Python职位为1689,全国Java职位为4987个,Python那么火爆,怎么只有只有三分之一!于是我仔细看了一下近1700多职位:
值得每一个学Python爬虫的人,反思的项目总结_第1张图片
Python这1700左右的职位主要是web开发,自动化运维,爬虫工程师等等。Python的主流可不单单是web开发!人工智能才是大餐,于是我又爬取了机器学习,数据挖掘,数据分析等等和Python相关的职位:

  • 机器学习:全国有744职位
  • 数据挖掘:全国有1190职位
  • 数据分析:全国有3113职位

综合来看:Python VS Java ,从数量上看Java还是占优势,当然我们的数据分析是在第三期展开,会深度从多个维度进行对比分析。

也许有的时候结果并不是最重要的,下面来看一下这个爬虫项目的反思,过程有的时候比结果更重要,更值得细细体会!

2.爬虫项目的分析

一个数据分析的过程,一般分几步,数据的爬取->数据的清洗->数据的存储->数据可视化分析->再深一点就是数据挖掘!

用到的知识其实非常多,我们一共分了3期走:

  • 第一期是爬取
  • 第二期是存储
  • 第三期是数据可视化

非常有趣的一个项目,至少我自己是很感兴趣的。

1).安装环境和工具的准备

工欲善其事,必先利其器!第一步是安装环境,推荐Pycharm,当然有人喜欢用sublime,Atom等等都可以,你自己用的顺手就可以了!爬虫用的库可以有很多选择,我们主推requests,解析的库用bs4,xpath,pyquery这些都可以,看你自己用的爽,用的熟练就行!

2).目标网站的分析

这次群里还请到了一位爬虫高手阿蔡的加入,以前一直玩爬虫的。加入了我们的实战群指点大家,拉勾的网站非常熟悉,我们可以有两种方法去爬取

  • 手机网站的爬取,手机站点会容易很多,简单分析之后就可以得到网站的数据,几行代码就可以获取的json格式的职位数据集
    值得每一个学Python爬虫的人,反思的项目总结_第2张图片
  • PC网站的爬取,PC端会稍微复杂一些,因为数据是动态加载的,仔细的分析http请求内容,也很快可以找到入口
    值得每一个学Python爬虫的人,反思的项目总结_第3张图片
    3).数据的解析

因为我们返回的是json数据,非常好分析,建议可以用pprint这款神器库先打印一下,找到我们要的职位的数据!

手机端的数据长这样:

 {'city': '上海',

  'company_full_names': '拉扎斯网络科技(上海)有限公司',

  'company_name': '饿了么',

  'create_time': '2018-03-20',

  'positionId': 2779439,

  'positionName': 'Python开发工程师(全栈)',

  'salary': '15k-25k'}

PC端的数据会稍微丰富一些,长这样:

{

 'businessZones': ['东四', '美术馆', '北新桥'],

 'city': '北京',

 'companyFullName': '凡普金科企业发展(上海)有限公司',

 'companyLabelList': ['年底双薪', '节日礼物', '技能培训', '带薪年假'],

 'createTime': '2018-03-22 10:41:03',

 'education': '本科',

 'linestaion': '5号线_东四;5号线_张自忠路;5号线_北新桥;6号线_东四;6号线_南锣鼓巷',

 'positionName': 'Python工程师',

 'salary': '25k-35k',

 'secondType': '后端开发'}

解析字典的时候会区分一下,然后获取总的页数,一般解析第一页就可以看到页数.然后进行循环爬取,进行解析。比如我们要获取职位的名称,职位的公司,职位的薪水,职位的城市和发布日期,这几个特征值,然后保存在一个字典列表里面即可!

4).数据的保存

常见的数据的保存我们一般用csv和json文件保存,csv文件一般都是先写一个头部,然后再把上面的字典列表数据一行一行存储在里面.json文件更方便了, 我们直接建一个文件dump一下就可以保存了

上面走一遍,感觉是不是很容易啊!如果你只看到这里,那么你离进阶又失之交臂了!

2.技术的反思

1).单线程to多线程

  • 上面的爬取都是单线程的爬取,职位不是很多,如果几万或者几十万的数据呢!你顺序爬取,很显然太慢,需要考虑并发!
  • 并发有多进程,多线程,线程池,或者用协程并发

2).断点续爬

上面的爬取没有考虑异常情况,如果爬取的过程出错了!怎么办,你需要重头爬取,不是一个明智之举,如何断点续传呢:

  • 比较常用的做法是保存文件,然后续爬的时候,先检测文件是否存在,如果存在查一下职位的id是否已经在文件中,不在则爬,在则跳过爬下一个!
  • 那有没有更好的办法呢,阿蔡建议用Redis来处理,一个牛逼的非常快速的内存数据库,爬取的时候只要监听
    redis数据,思路类似上面的文件爬取.

3).增量爬取

我们的爬取都是当天的数据,如何考虑增量爬取,我们首先要对日期进行处理!拉勾上的职位很多发布日期都是相对时间,比如今天12:10,昨天8:00,如果考虑时间序列的增量,必须要把这些相对时间在爬取的时候,做数据清洗!

3.细节的推敲

  • 比如我们保存多个爬取的数据的时候,是用列表存储,还是用双向列表!
  • 构建一个字典的时候,如果获取的数据的值为空,比如薪资异常,有没有考虑到用缺省字典
  • 我们爬取的时候,有没有考虑异常处理,如果出现了403反爬,是否用了随机代理和构建一个代理池来处理
  • 循环保存的时候,要不要用yield迭代器会不会更快一点

当然这些是我想到的一部分,也许还有更多的细节需要推敲和挖掘,把代码写的更好更美,好的代码应该是改出来的,需要不断的重构。

4.兴趣是最大的动力

2周的训练,能坚持下来的并不多,最后交卷的只有四层左右,虽然是一个很小的实战项目!但是在前进的过程中,很多时候会被途中的风景所吸引而忘记了赶路,或者是走到了一般遇到了一些问题和障碍,不一定会坚持越过山丘! 一件事情能否做到底,取决于你对成功的欲望有多强烈,你越渴望成功,你的目标非常清晰,越容易坚持!

最后大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!
朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】


点此免费领取:CSDN大礼包:《python学习路线&全套学习资料》免费分享

一、Python所有方向的学习路线

Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
在这里插入图片描述

二、Python必备开发工具

在这里插入图片描述

四、Python视频合集

观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
在这里插入图片描述

五、实战案例

光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。在这里插入图片描述

六、Python练习题

检查学习结果。
在这里插入图片描述

七、面试资料

我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。
在这里插入图片描述
在这里插入图片描述
最后,千万别辜负自己当时开始的一腔热血,一起变强大变优秀。

你可能感兴趣的:(python,python入门,Python编程,python,爬虫,数据挖掘)