爬虫课程作业01-解密大数据社群

glenn-carstens-peters-203007.jpg

最近对金融行业的就业情况比较感兴趣，准备从领英网站获取一些数据，做一些分析。

一、要爬取的数据类别

领英网站金融行业的职位数据，包括公司名称、职位名称、薪酬范围、职位要求

二、对应的数据源网站

领英网址 www.linkedin.com

三、爬取数据的URL

https://www.linkedin.com/jobs/search/?keywords=audit&location=%E5%85%A8%E7%90%83&locationId=OTHERS.worldwide

四、数据筛选规则

根据职位的类别、招聘公司、职位所在地域、职位对应工作年限的要求、发布日期、职位要求、薪酬范围等维度，对爬取的数据进行筛选和分析，希望获得以下结论：

某个特定职位的薪酬水平及变化趋势，判断该职位的稀缺程度和就业概率；

某个特定职位的地域分布情况，提供自己发展的区域选择参考依据；

某个特定职位在不同行业的分布情况，和对应的薪酬水平，以审计（audit）为例，该职位具备一定的行业共性，但是不同行业、同一个职位薪酬水平不同，可以为自己做职业转换提供参考；

某个特定职位的工作要求，为自己的职业发展和技能培训提供指导性意见。