大数据人才稀缺
据数联寻英发布《大数据人才报告》显示,目前全国的大数据人才仅46万,未来3-5年内大数据人才的缺口将高达150万。
据职业社交平台LinkedIn发布的《2016年中国互联网最热职位人才报告》显示,研发工程师、产品经理、人力资源、市场营销、运营和数据分析是当下中国互联网行业需求最旺盛的六类人才职位。其中研发工程师需求量最大,而数据分析人才最为稀缺。领英报告表明,数据分析人才的供给指数最低,仅为0.05,属于高度稀缺。数据分析人才跳槽速度也最快,平均跳槽速度为19.8个月。
根据中国商业联合会数据分析专业委员会统计,未来中国基础性数据分析人才缺口将达到1400万,而在BAT企业招聘的职位里,60%以上都在招大数据人才。
大数据专业就业三大方向
大数据主要的三大就业方向:大数据系统研发类人才、大数据应用开发类人才和大数据分析类人才。
在此三大方向中,各自的基础岗位一般为大数据系统研发工程师、大数据应用开发工程师和数据分析师。
大数据专业人才就业薪资
1基础人才:数据分析师

北京数据分析平均工资:¥ 10630/月,取自 15526 份样本,较 2016 年,增长 9.4%。
数据分析师岗位职责
业务类别:技术
业务方向:数据分析

工作职责:
1. 根据公司产品和业务需求,利用数据挖掘等工具对多种数据源进行诊断分析,建设征信分析模型并优化,为公司征信运营决策、产品设计等方面提供数据支持;
2. 负责项目的需求调研、数据分析、商业分析和数据挖掘模型等,通过对运行数据进行分析挖掘背后隐含的规律及对未来的预测;
3. 参与数据挖掘模型的构建、维护、部署和评估;
4. 整理编写商业数据分析报告,及时发现和分析其中变化和问题,为业务发展提供决策支持;
5. 独立完成项目需求管理、方案设计、实施管理和项目成果质量的把控;
6. 参与编写项目相关文档。
教育背景:
学历:本科其它:
经验要求:工作经验:3-5年
任职要求:
1. 统计学、数学或计算机、数理统计或数据挖掘专业方向相关专业本科或以上学历;有扎实的数据统计和数据挖掘专业知识;
2. 熟练使用数理统计、数据分析、数据挖掘工具软件(SAS、R、Python等的一种或多种),能熟练使用SQL读取数据;
3. 使用过 逻辑回归、神经网络、决策树、聚类 等的一种或多种建模方法;
4. 3年以上数据分析工作经验,征信从业背景人员优先;
5. 具有金融行业项目经验的相关经验者优先考虑;
6. 主动性强,有较强的责任心,积极向上的工作态度,有团队协作精神。
能力素养:
良好的分析、归纳和总结能力,善于分析、解决实际问题; 主动性强,有较强的责任心,积极向上的工作态度,有团队协作精神。

2大数据开发工程师
北京大数据开发平均工资:¥ 30230/月。
大数据开发工程师/专家 岗位指责(引自 滴滴出行):
职位描述:
1、构建分布式大数据服务平台,参与和构建公司包括海量数据存储、离线/实时计算、实时查询,大数据系统运维等系统;
2、服务各种业务需求,服务日益增长的业务和数据量;
3、深入源码内核改进优化开源项目,解决各种hadoop、spark、hbase疑难问题,参与到开源社区建设和代码贡献;
岗位要求:
1、计算机或相关专业本科以上学历(3年以上工作经验);
2、精通C++/Java/Scala程序开发(至少一种),熟悉Linux/Unix开发环境;
3、熟悉常用开源分布式系统,精通Hadoop/Hive/Spark/Storm/Flink/HBase之一源代码;
4、有大规模分布式系统开发、维护经验,有故障处理能力,源码级开发能力;
5、具有良好的沟通协作能力,具有较强的分享精神;
6、对Kudu、Kylin、Impala、ElasticSearch,github等系统有深入使用和底层研究者加分;


3Hadoop开发工程师
北京hadoop平均工资:¥ 20130/月,取自 1734 份样本。
Hadoop开发工程师岗位职责(引自新浪网):
职位描述:
1.参与优化改进新浪集团数据平台基础服务,参与日传输量超过百TB的数据传输体系优化,日处理量超过PB级别的数据处理平台改进,多维实时查询分析系统的构建优化;
2.分布式机器学习算法在数据平台的构建与优化(包括常见的LR、GBDT、FM、LDA、Word2Vec及DNN等);
3.深入源码改进各种开源大数据项目(包括Hadoop、Spark、Kafka、HBase等)。

任职要求:
1.计算机或相关专业本科以上学历;
2.熟悉Linux环境下开发,熟练掌握C++/Java/Scala等一种以上编程语言;
3.熟悉Hadoop生态系统相关项目,精通以下项目之一的源码(Hadoop/Spark/Kafka/HBase/Flume/ElasticSearch/Druid/Kylin);
4.具备良好的学习能力、分析能力和解决问题的能力。


4数据挖掘工程师
北京数据挖掘平均工资:¥ 21740/月,取自 3449 份样本,较 2016 年,增长 20.3%;
数据挖掘工程师招聘要求(引自蚂蚁金服集团技术部):
工作职责:
1、在分布式系统上进行数据计算、挖掘、和实现算法;
2、数据仓库模型设计和建立;
3、数据梳理流程的实现和维护;
4、物流场景下的地址文本、空间属性研究和分析。
任职资格:
1、本科以上学历,有扎实的统计学,数据挖掘,机器学习,自然语言识别理论基础,一种或几种以上的实际使用经验。
2、熟悉聚类、分类、回归等机器学习算法和实现,对常见的核心算法和数据挖掘方法有透彻的理解和实际经验。
3、深入理解Map-Reduce模型,对Hadoop、Hive、Spark、Storm等大规模数据存储于运算平台有实践经验。
4、有扎实的计算机理论基础,至少熟悉一种编程语言,Java优先。
5、有三年以上互联网公司或者海量数据处理工作经验,大数据挖掘、分析、建模经验


5算法工程师
北京算法工程师平均工资:¥ 22640/月,取自 10176 份样本。

算法工程师 招聘要求(引自美团点评数据平台部):
职位描述:
互联网公司背景优先
A、广告算法
岗位职责:
1.负责点击率预估等主要广告算法的技术选型;
2.负责核心算法的开发;
3.负责广告大数据处理流程的建设及相关工具的研发;
4.负责广告技术研究项目的推进与管理;
职位需求:
1.计算机或相关专业本科以上学历,3年以上相关工作经验;
2.熟练掌握一门开发语言;
3.有机器学习、数据挖掘相关知识;
4.在广告、搜索、推荐等相关领域之一有技术研究工作经验;
5.有较强的沟通协调能力;
B、推荐算法
职位描述:
1. 参与各个产品线的个性化推荐系统的研发;
2. 分析用户行为数据,并设计合理的推荐算法模型及策略,并优化推荐排序;
3. 通过对用户行为数据的挖掘,对用户进行建模,精准刻画用户各种属性;
职位要求:
1. 全日制本科及以上学历,计算机相关专业;
2. 熟练掌握各类个性化推荐算法,并有开发个性化推荐系统的实际项目经验;熟练掌握各类回归及排序算法,能够利用相关算法进行推荐排序的优化;
3. 熟练掌握分类、聚类、回归、降维等经典机器学习算法和技术,能够根据实际问题选择合适的模型和算法并进行相应的开发;
4. 有较强的工程架构和开发能力,能够实现支撑千万级用户和TB级用户行为数据的推荐系统或算法;
5. 掌握python、matlab等脚本语言,熟悉各类数据挖掘工具(如weka、Mahout),能够快速建立模型并进行验证;
C、算法工程师
岗位职责:
1、开发和优化用户行为数据挖掘,文本分类和语义理解,社交网络分析,网页搜索,推荐系统等领域的特定算法
2、能够很快学习和利用state-of-the-art的算法解决实际产品问题,提升产品用户体验
任职资格:
1、有一定的研究、实验的能力,优秀的分析问题和解决问题的能力
2、理解自然语言处理、机器学习、网页搜索,推荐系统,用户数据分析和建模的基本概念和常用方法,有相关领域的实际项目研发或者实习经历者优先。
3、熟悉C++, Java或Python,熟悉Linux或类Unix系统开发,有较强的编程能力。 能独立实现线上算法模块者优先。
4、对大数据处理平台和工具有一定经验者优先, 包括: Hadoop, Hive, Pig, Spark 等


最后一个问题,哪些公司需求大数据人才?
答:所有的公司。大到世界500强,BAT这样的公司,小到创业公司,他们都需求数据人才。
马云爸爸说“我们已从IT时代进入了DT时代,未来我们的汽车、电灯泡、电视机、电冰箱等将全部装上操作系统,并进行数据集成,数据将会让机器更“聪明”。DT时代,数据将成为主要的能源,离开了数据,任何组织的创新都基本上是空壳。”
数据,未来的一切
随着科技的发展,人类社会拥有数据规模增长很快,每时每刻、从天到地都有大量数据被产生和存储下来。数据科学则通过对数据进行分析,帮助决策。
比如这么多家社交网站,一天到晚从你的定位到点击了什么连接,各种鸡毛蒜皮的数据都存着,他们不怕数据多,就怕有什么没记录下来的。数据量的增大和数据的多样化也促进了很多公司、政府进行数据分析来支持商务决策(data driven decision making)。
事实上,大到世界500强,BAT这样的公司,小到创业公司,他们都需求数据人才。目前,大数据人才数量较少,因此大多数公司的数据部门一般都是扁平化的层级模式,大致分为数据分析师、资深研究员、部门总监3个级别。
大公司可能按照应用领域的维度来划分不同团队,而在小公司则需要身兼数职。有些特别强调大数据战略的互联网公司则会另设最高职位—如阿里巴巴的首席数据官。这个职位的大部分人会往研究方向发展,成为重要数据战略人才。另一方面,大数据工程师对商业和产品的理解,并不亚于业务部门员工,因此也可转向产品部或市场部,乃至上升为公司的高级管理层。
职业发展主要分为3个方向:
1、大数据开发方向; 所涉及的职业岗位为:大数据工程师、大数据维护工程师、大数据研发工程师、大数据架构师等;
2、数据挖掘、数据分析和机器学习方向; 所涉及的职业岗位为:大数据分析师、大数据高级工程师、大数据分析师专家、大数据挖掘师、大数据算法师等;
3、大数据运维和云计算方向;对应岗位:大数据运维工程师;
三个方向中,大数据开发是基础。以Hadoop开发工程师为例,Hadoop入门月薪已经达到了 8K 以上,工作1年月薪可达到 1.2W 以上,具有2-3年工作经验的hadoop人才年薪可以达到 30万—50万,一般需要大数据处理的公司基本上都是大公司,所以学习大数据专业也是进大公司的捷径。这三个方向精通任何方向之一者,均会前(钱)途无量。