学好Python薪水有多少|我爬取了所有的Python职位

 Python现在这么火,相信每个学Python的同学都非常关心学好Python到底能赚多少钱,薪水高不高呢,Python有哪些大的公司,都是哪些岗位在招人.于是第一步我爬取了拉勾所有的Python相关的岗位,我们用数据说话,小伙伴一起看一下吧.

 

 

1

 

爬虫思路分析

招聘网站非常多,有51job,拉勾网,Linkedin等等,因为Python偏互联网,所以我选择爬取拉勾网的数据.

 

学好Python薪水有多少|我爬取了所有的Python职位_第1张图片

 

但是发现拉勾网需要验证吗,试着登入进去之后,发现网页的数据都是Ajax方式的数据,不是非常好爬取。

学好Python薪水有多少|我爬取了所有的Python职位_第2张图片

 

于是我们退而求其次,选择手机网站爬取,相对容易一些.

学好Python薪水有多少|我爬取了所有的Python职位_第3张图片

 

2

 

动手爬取数据

爬虫的库和方法非常多,这里我选择用selenium的方式,模拟登入绕过反爬虫的机制来获取数据.

 

首先要保证你的电脑上安装了selenium环境和chrome浏览器,当然firefox也可以,只是我个人习惯用selenium,哈哈。

 

1.进入搜索页面,输入Python

学好Python薪水有多少|我爬取了所有的Python职位_第4张图片

 

2.获取Python相关岗位

学好Python薪水有多少|我爬取了所有的Python职位_第5张图片

 

3.网页分析

学好Python薪水有多少|我爬取了所有的Python职位_第6张图片

 

我们可以用BS解析数据,也可以用PyQuery解析数据,这次我换一个口味,以前我一直习惯用bs解析,这次爬取我用了PyQuery发现还不错,用的蛮爽的.

 

3

 

开始写代码

整个的代码量非常小,大概只有70行左右,非常适合小白练手.

 

1.启动Selenium登入拉勾

 

2.爬取页面

每一个页面主要关心的招聘网页,薪资待遇,公司名称和发布时间

学好Python薪水有多少|我爬取了所有的Python职位_第7张图片

 

当然还要翻页:

学好Python薪水有多少|我爬取了所有的Python职位_第8张图片

 

load page:1

加载中...

load page:2

加载中...

load page:3

加载中...

。。。

load page:47

加载更多

load page:48

加载中...

load page:49

加载中...

load page:50

加载中...

load page:51

加载更多

load page:52

加载中...

load page:53

加载中...

 

3.数据存储

这里我们选择最简单的存为json格式的数据,方便后面的数据分析.

一共100多页数据,总共1552个岗位,设计全国10几个的城市的所以Python数据,下面是部分数据的展示:

学好Python薪水有多少|我爬取了所有的Python职位_第9张图片

 

结论:

python资源免费分享,资深讲师每天免费教学,零基础,进阶学习视频都有哦,欢迎大家加入python学习交流qq群 233539995


今天只篇只是开个头开胃菜,熟悉我的文章的同学应该知道,数据分析才是王道,后面我写一篇所有Python岗位的薪资,地域和岗位要求年限等详细数据分析报告,大家敬请期待吧!

你可能感兴趣的:(学好Python薪水有多少|我爬取了所有的Python职位)