本文主要用以介绍我和室友所做的可视化项目,功能是通过对几十万条岗位数据进行分析,并可视化出来,得到岗位发展趋势等信息,它包含了vue前端渲染、python后端数据处理以及数据爬取,整体项目已开源至gitee上,由于源数据太多,未能一起放在gitee仓库上,资源上传至csdn,如需使用请自行下载组合。(本文仅用于个人学习总结)
课题提供的基础数据样本如上图所示,
某招聘网站时间跨度从2015年11月7日— 2016年4月5日的招聘数据集,包括招聘信息、招聘单位基本情况和职位描述。具体数据集属性字段包含:
招聘信息(530445):City、CompanyName、CompanyShortName、CompanySize、CreateTime 、Education 、FinanceStage(融资阶段)、IndustryField、JobNature(工作性质)、PositionAdvantage、PositionFirstType、PositionName、PositionType、Salary、WorkYear、CompanyId 、PositionId
招聘单位基本信息(50893):Slogan(公司口号)、company_Introduction、CompanyId
职位描述(539216):Job_Description、PositionId
另外我们还爬取了2021年的部分岗位数据,如上图所示。
整体项目采用B/S架构,利用python作为后端数据处理支持,其中使用到numpy、pandas数据处理包和tornado通信协议包,vue作为前端框架进行开发。详细界面的绘制主要使用到的是echarts和element ui。
架构介绍:
从上往下依次为额外数据,课题数据,经纬度爬取处理数据,主通信处理py和数据处理部分py。项目文件在csdn资源中可免费下载。
都是些无关紧要的配置,对于初学者(比如我)下载代码时,可以直接用vue自动补库即可使用,项目结构没有什么规划,本着越简单实现越好原则,下载后就看得懂了。
具体展示视频放在bilibili上了,链接如下,
招聘岗位可视化
部分截图如下:,
整体框架图如上所示,功能按钮、地图实时展示、和各方面分析。
上图所示为分析薪资和各潜在因素之间的关系图。
对比16年到21年的发展变化情况图
本项目周期不长,很多结构化的东西没有做得很完善,但贵在简单完整,且可拓展性很强,修改下结构或者添加新功能都很方便。整体技术难度不高。