python爬取拉勾网招聘数据

又一年的毕业季来临了,一大波大学生加入了找工作的大军,给这些新加入职场的学生们提供宝贵的招聘的信息,通过python爬取拉勾网的招聘的数据。

拉勾网的链接是https://www.lagou.com/,先爬取各岗位的链接地址,例如java岗位

python爬取拉勾网招聘数据_第1张图片
找到html代码的标签的位置

获取不同岗位的具体代码:

python爬取拉勾网招聘数据_第2张图片

接下来获取JAVA等岗位的具体信息,具体获取岗位名称,公司名称,薪水,地区,公司类型这几个主要的信息。

python爬取拉勾网招聘数据_第3张图片
找到具体想要获取信息的html标签的位置

获取java等不同岗位的具体信息的代码:

python爬取拉勾网招聘数据_第4张图片

完整代码贴在下面,采用了BeautifulSoup这个包:


python爬取拉勾网招聘数据_第5张图片
python爬取拉勾网招聘数据_第6张图片

最终爬取的数据存储到excel中了,效果是:

python爬取拉勾网招聘数据_第7张图片

后续将对数据进行分析,统计不同地区的薪水等……

你可能感兴趣的:(python爬取拉勾网招聘数据)