51 Job招聘数据分析与可视化

招聘数据分析与可视化

背景

为了分析现有数据行业的招聘情况,抓取2017年3月14日到2017年5月13日发布在51Job上的数据相关招聘职位116273条信息,并从中筛选出职位是数据分析、数据挖掘、文本挖掘、视觉学习、计算广告、数据开发、数据架构师等的数据岗位招聘信息10134条。
从地域分布、企业情况、岗位需求、薪酬等维度去量化分析数据岗位的招聘现状。发现不同薪酬分层下的岗位数量基本与城市发展趋势、行业汇聚、人才聚集呈现正比。
地域分布上,大数据的发展,当前最活跃于发达的一线城市以及沿海地区,但是二线城市中杭州、南京、成都、武汉也是可以选择的。
企业情况上,行业主要集中在电子商务、金融、IT软件等轻资产企业,同时,零售、电信也具有一定需求;企业属性主要是民企、合资企业和上市公司三大类,民营企业占据半边天;企业规模上,数据岗位只有在一定规模的企业,才能凸显重要性,50~500人之间的企业成为主要的岗位提供者。
选择企业行业、企业性质、企业规模、工作地域、学历、技能(r,sas、python、hadoop、spark、excel、java、sql、hive、hbase),其中技能做二值化处理进行模型构建。使用SAS EM进行建模,利用树代替对数值和属性变量进行补缺,最优转换进行变量转换,比较Logistc回归、神经网络、随机森林、梯度Boosting和决策树。

数据抽取

爬虫获取

51 Job招聘数据分析与可视化_第1张图片
51 Job招聘数据分析与可视化_第2张图片

结构化存储

51 Job招聘数据分析与可视化_第3张图片

可视化

可视化地址:https://data2miner.shinyapps.io/data_job_analysis/
51 Job招聘数据分析与可视化_第4张图片

地域分布

51 Job招聘数据分析与可视化_第5张图片
51 Job招聘数据分析与可视化_第6张图片

技能VS薪酬

51 Job招聘数据分析与可视化_第7张图片

文本分析

51 Job招聘数据分析与可视化_第8张图片

模型构建

51 Job招聘数据分析与可视化_第9张图片

你可能感兴趣的:(爬虫系统,可视化)