想成为大数据人才?你得拥有这些能力!

01 起

大数据行业持续升温,越来越多的人才涌进这个行业。

想知道这个行业需要什么样的人才么?

大数据的问题就交给大数据去完成吧~~

我们按特定的职位名称,爬取了拉勾网上成都地区所有大数据相关职位的招聘信息,并对这份数据做了多维度分析,得到了很多有价值的信息,构成了一份大数据人才市场分析报告。

本文节选报告第四章内容,对5类大数据相关职位的职位要求进行文本分析,给出人才市场上对这5类职位的能力(ability)要求和技能(skill)要求,供大家餐参考。

一起来看看吧!

02 分析方法

原始数据经标准化处理后,有11类职位,发布的职位数如下表所示, 我们选取职位数大于100的职位以及数据挖掘职位进行分析。

数据处理流程如下,主要利用python的jieba分词:

  1. 加载自定义词典(提取各类职位的职位描述关键词n,v词性TOP100,人工筛选(组合、删除词语)生成一个词典)
  2. 利用dict(zip())和原始数据,生成{职位:职位描述}字典
  3. 利用dictionary.get(key,None)将相同的key对应的value字符串联结
  4. 利用jieba.analyse.extracr()提取各类职位的职位描述长文本的名词、动词高频词,作为该职位的能力相关要求
  5. 利用jieba.posseg.cut()以及flag词性筛选和dictionary.get(key,0)对字母单词计数,并降序排列,作为该职位的技能相关要求

一波操作之后,我们得到算法工程师、数据挖掘、数据分析师、Java工程师、前端工程师这五类职位的能力要求。

03 职位能力需求分析

3.1 算法攻城狮

算法工程师能力要求(左图)主要集中在模型、数学、编程等偏理论性的能力上;技能要求(右图)主要集中在Matlab、Hadoop、Java、Python等偏数学统计、数据库、建模等方面的软件或语言上。

3.2 数据挖掘工

数据挖掘能力要求主要集中在建模、聚类、分类、统计、回归、文本处理、标签等偏实际应用的方面;技能要求主要集中在Python、SQL、SAS等偏挖掘、统计的工具上,对于Hadoop等数据库相关的技能要求没有算法工程师那么多。

3.3 数据分析狮

数据分析师能力要求主要集中在行业分析、报表统计、报告专项等方面,要求具有较高的业务思维和对行业的深刻理解;技能要求主要集中在Excel、SQL、PPT等偏展示性的工具上,对于python等技能的要求没有数据挖掘多。

3.4 Java攻城狮

Java工程师能力要求主要集中在编程、架构设计、数据库、分布式等方面;技能要求主要集中在Java、Spring、Linux、Oracle、HTML等方面,更加偏向于底层语言。

3.5 前端攻城狮

前端能力要求主要集中在可视化、网页、浏览器、工程化等方面;技能要求主要集中在CSS、Web、UI、HTML、Javascript等方面,与Java工程师的技能要求差异明显。

04 总结

以上分析仅分析了几个发布职位数较多的岗位,对其职位要求的长文本进行了分析,给出了各岗位的能力要求和技能要求,作为求职者或是招聘方的参考,也可以继续进行时序分析(需要不同时间点的数据),从而洞察各类岗位人才能力需求的变动情况。

比如可以检测数据挖掘的技术动向,如出现越来越多的NLP(自然语言处理)相关的职位要求。

以上分析较为粗浅,仅供大家参考~

对了,基于本次成都地区拉勾网的招聘数据,我还做了一个人才价格计算器

人才价格计算器
输入你的求职职位、求职公司规模、你的工作年限、学历等信息,就可以估算你在成都地区的市场均价

感兴趣的小伙伴可以参考这段代码,我上传到我的github了。

你可能感兴趣的:(想成为大数据人才?你得拥有这些能力!)