2020-09-28

学好Python薪水有多少|我爬取了所有的Python职位

原创 xinxin 菜鸟学Python 

阅读本文大概需要3分钟

     Python现在这么火,相信每个学Python的同学都非常关心学好Python到底能赚多少钱,薪水高不高呢,Python有哪些大的公司,都是哪些岗位在招人.于是第一步我爬取了拉勾所有的Python相关的岗位,我们用数据说话,小伙伴一起看一下吧.

1

爬虫思路分析

招聘网站非常多,有51job,拉勾网,Linkedin等等,因为Python偏互联网,所以我选择爬取拉勾网的数据.

但是发现拉勾网需要验证吗,试着登入进去之后,发现网页的数据都是Ajax方式的数据,不是非常好爬取。

于是我们退而求其次,选择手机网站爬取,相对容易一些.

2

动手爬取数据

爬虫的库和方法非常多,这里我选择用selenium的方式,模拟登入绕过反爬虫的机制来获取数据.

首先要保证你的电脑上安装了selenium环境和chrome浏览器,当然firefox也可以,只是我个人习惯用selenium,哈哈。

1.进入搜索页面,输入Python

2.获取Python相关岗位

3.网页分析

我们可以用BS解析数据,也可以用PyQuery解析数据,这次我换一个口味,以前我一直习惯用bs解析,这次爬取我用了PyQuery发现还不错,用的蛮爽的.

3

开始写代码

整个的代码量非常小,大概只有70行左右,非常适合小白练手.

1.启动Selenium登入拉勾

2.爬取页面

每一个页面主要关心的招聘网页,薪资待遇,公司名称和发布时间

当然还要翻页:

load page:1

加载中...

load page:2

加载中...

load page:3

加载中...

。。。

load page:47

加载更多

load page:48

加载中...

load page:49

加载中...

load page:50

加载中...

load page:51

加载更多

load page:52

加载中...

load page:53

加载中...

3.数据存储

这里我们选择最简单的存为json格式的数据,方便后面的数据分析.

一共100多页数据,总共1552个岗位,设计全国10几个的城市的所以Python数据,下面是部分数据的展示:

你可能感兴趣的:(2020-09-28)