大数据工程师职业发展以及薪酬一览

大数据是眼下非常时髦的技术名词，与此同时自然也催生出了一些与大数据处理相关的职业，通过对数据的挖掘分析来影响企业的商业决策。

　　这群人在国外被叫做数据科学家(Data Scientist)，这个头衔最早由D.J.Pati和Jeff Hammerbacher于2008年提出，他们后来分别成为了领英(LinkedIn)和Facebook数据科学团队的负责人。而数据科学家这个职位目前也已经在美国传统的电信、零售、金融、制造、物流、医疗、教育等行业里开始创造价值。

　　不过在国内，大数据的应用才刚刚萌芽，人才市场还不那么成熟，“你很难期望有一个全才来完成整个链条上的所有环节。更多公司会根据自己已有的资源和短板，招聘能和现有团队互补的人才。”领英(LinkedIn)中国商务分析及战略总监王昱尧对记者说。

　　于是每家公司对大数据工作的要求不尽相同：有的强调数据库编程、有的突出应用数学和统计学知识、有的则要求有咨询公司或投行相关的经验、有些是希望能找到懂得产品和市场的应用型人才。正因为如此，很多公司会针对自己的业务类型和团队分工，给这群与大数据打交道的人一些新的头衔和定义：数据挖掘工程师、大数据专家、数据研究员、用户分析专家等都是经常在国内公司里出现的Title，我们将其统称为“大数据工程师”。

　　王尧认为，在一个成熟的数据驱动型公司，“大数据工程师”往往是一个团队，它意味着从数据的收集、整理展现、分析和商业洞察、以至于市场转化的全过程。这个团队中可能包括数据工程师、分析师、产品专员、市场专员和商业决策者等角色，共同完成从原始数据到商业价值的转换—概括来讲，这是一个支持企业做出商业决策、发掘商业模式的重要群体。

　　由于国内的大数据工作还处在一个有待开发的阶段，因此能从其中挖掘出多少价值完全取决于工程师的个人能力。已经身处这个行业的专家给出了一些人才需求的大体框架，包括要有计算机编码能力、数学及统计学相关背景，当然如果能对一些特定领域或行业有比较深入的了解，对于其快速判断并抓准关键因素则更有帮助。

　　虽然对于一些大公司来说，拥有硕博学历的公司人是比较好的选择，不过阿里巴巴集团研究员薛贵荣强调，学历并不是最主要的因素，能有大规模处理数据的经验并且有喜欢在数据海洋中寻宝的好奇心会更适合这个工作。

　　除此之外，一个优秀的大数据工程师要具备一定的逻辑分析能力，并能迅速定位某个商业问题的关键属性和决定因素。“他得知道什么是相关的，哪个是重要的，使用什么样的数据是最有价值的，如何快速找到每个业务最核心的需求。”联合国百度大数据联合实验室数据科学家沈志勇说。学习能力能帮助大数据工程师快速适应不同的项目，并在短时间内成为这个领域的数据专家;沟通能力则能让他们的工作开展地更顺利，因为大数据工程师的工作主要分为两种方式：由市场部驱动和由数据分析部门驱动，前者需要常常向产品经理了解开发需求，后者则需要找运营部了解数据模型实际转化的情况。

　　你可以将以上这些要求看做是成为大数据工程师的努力方向，因为根据万宝瑞华管理合伙人颜莉萍的观察，这是一个很大的人才缺口。目前国内的大数据应用多集中在互联网领域，有超过56%的企业在筹备发展大数据研究，“未来5年，94%的公司都会需要数据科学家。”颜莉萍说。因此她也建议一些原本从事与数据工作相关的公司人可以考虑转型。

　　本文采访了BAT这3家国内互联网公司，以及相关领域的人力资源专家，他们从职场角度为我们解读如何成为大数据工程师以及这类岗位的职场现状。

A 大数据工程师做什么?

　　用阿里巴巴集团研究员薛贵荣的话来说，大数据工程师就是一群“玩数据”的人，玩出数据的商业价值，让数据变成生产力。大数据和传统数据的最大区别在于，它是在线的、实时的，规模海量且形式不规整，无章法可循，因此“会玩”这些数据的人就很重要。

　　沈志勇认为如果把大数据想象成一座不停累积的矿山，那么大数据工程师的工作就是，“第一步，定位并抽取信息所在的数据集，相当于探矿和采矿。第二步，把它变成直接可以做判断的信息，相当于冶炼。最后是应用，把数据可视化等。”

　　因此分析历史、预测未来、优化选择，这是大数据工程师在“玩数据”时最重要的三大任务。通过这三个工作方向，他们帮助企业做出更好的商业决策。

找出过去事件的特征

　　大数据工程师一个很重要的工作，就是通过分析数据来找出过去事件的特征。比如，腾讯的数据团队正在搭建一个数据仓库，把公司所有网络平台上数量庞大、不规整的数据信息进行梳理，总结出可供查询的特征，来支持公司各类业务对数据的需求，包括广告投放、游戏开发、社交网络等。

　　找出过去事件的特征，最大的作用是可以帮助企业更好地认识消费者。通过分析用户以往的行为轨迹，就能够了解这个人，并预测他的行为。“你可以知道他是什么样的人、他的年纪、兴趣爱好，是不是互联网付费用户、喜欢玩什么类型的游戏，平常喜欢在网上做什么事情。”腾讯云计算有限公司北京研发中心总经理郑立峰对《第一财经周刊》说。下一步到了业务层面，就可以针对各类人群推荐相关服务，比如手游，或是基于不同特征和需求衍生出新的业务模式，比如微信的电影票业务。

 

预测未来可能发生的事情

　　通过引入关键因素，大数据工程师可以预测未来的消费趋势。在阿里妈妈的营销平台上，工程师正试图通过引入气象数据来帮助淘宝卖家做生意。“比如今年夏天不热，很可能某些产品就没有去年畅销，除了空调、电扇，背心、游泳衣等都可能会受其影响。那么我们就会建立气象数据和销售数据之间的关系，找到与之相关的品类，提前警示卖家周转库存。”薛贵荣说。

　　在百度，沈志勇支持“百度预测”部分产品的模型研发，试图用大数据为更广泛的人群服务。已经上线的包括世界杯预测、高考预测、景点预测等。以百度景点预测为例，大数据工程师需要收集所有可能影响一段时间内景点人流量的关键因素进行预测，并为全国各个景点未来的拥挤度分级—在接下来的若干天时间里，它究竟是畅通、拥挤，还是一般拥挤?

找出最优化的结果

　　根据不同企业的业务性质，大数据工程师可以通过数据分析来达到不同的目的。

　　以腾讯来说，郑立峰认为能反映大数据工程师工作的最简单直接的例子就是选项测试(AB Test)，即帮助产品经理在A、B两个备选方案中做出选择。在过去，决策者只能依据经验进行判断，但如今大数据工程师可以通过大范围地实时测试—比如，在社交网络产品的例子中，让一半用户看到A界面，另一半使用B界面，观察统计一段时间内的点击率和转化率，以此帮助市场部做出最终选择。

　　作为电商的阿里巴巴，则希望通过大数据锁定精准的人群，帮助卖家做更好的营销。“我们更期待的是你能找到这样一批人，比起现有的用户，这些人对产品更感兴趣。”薛贵荣说。一个淘宝的实例是，某人参卖家原来推广的目标人群是产妇，但工程师通过挖掘数据之间的关联性后发现，针对孕妇群体投放的营销转化率更高。

　　B 需要具备的能力

数学及统计学相关的背景

　　就我们采访过的BAT三家互联网大公司来说，对于大数据工程师的要求都是希望是统计学和数学背景的硕士或博士学历。沈志勇认为，缺乏理论背景的数据工作者，更容易进入一个技能上的危险区域(Danger Zone)—一堆数字，按照不同的数据模型和算法总能捯饬出一些结果来，但如果你不知道那代表什么，就并不是真正有意义的结果，并且那样的结果还容易误导你。“只有具备一定的理论知识，才能理解模型、复用模型甚至创新模型，来解决实际问题。”沈志勇说。

如果你对大数据开发感兴趣，想系统学习大数据的话，可以加入大数据技术学习交流扣扣群：4583+数字45782，欢迎添加，私信管理员，了解课程介绍，获取学习资源

计算机编码能力

　　实际开发能力和大规模的数据处理能力是作为大数据工程师的一些必备要素。“因为许多数据的价值来自于挖掘的过程，你必须亲自动手才能发现金子的价值。”郑立峰说。

　　举例来说，现在人们在社交网络上所产生的许多记录都是非结构化的数据，如何从这些毫无头绪的文字、语音、图像甚至视频中攫取有意义的信息就需要大数据工程师亲自挖掘。即使在某些团队中，大数据工程师的职责以商业分析为主，但也要熟悉计算机处理大数据的方式。

对特定应用领域或行业的知识

　　在颜莉萍看来，大数据工程师这个角色很重要的一点是，不能脱离市场，因为大数据只有和特定领域的应用结合起来才能产生价值。所以，在某个或多个垂直行业的经历能为应聘者积累对行业的认知，对于之后成为大数据工程师有很大帮助，因此这也是应聘这个岗位时较有说服力的加分项。

　　“他不能只是懂得数据，还要有商业头脑，不论对零售、医药、游戏还是旅游等行业，能就其中某些领域有一定的理解，最好还是与公司的业务方向一致的，”就此薛贵荣还打了个比方，“过去我们说一些奢侈品店员势利，看人一眼就知道买得起买不起，但这群人恰恰是有敏锐度的，我们认为他们是这个行业的专家。又比如对医疗行业了解的人，他在考虑医疗保险业务时，不仅会和人们医院看病的记录相关，也会考虑饮食数据，这些都是基于对该领域的了解。”

C 大数据工程师的职业发展

如何成为大数据工程师

　　由于目前大数据人才匮乏，对于公司来说，很难招聘到合适的人才—既要有高学历，同时最好还有大规模数据处理经验。因此很多企业会通过内部挖掘。

　　2014年8月，阿里巴巴举办了一个大数据竞赛，把天猫平台上的数据拿出来，去除敏感问题后，放到云计算平台上交予7000多支队伍进行比赛，比赛分为内部赛和外部赛。“通过这个方式来激励内部员工，同时也发现外部人才，让各行业的大数据工程师涌现出来。”

　　颜莉萍建议，目前长期从事数据库管理、挖掘、编程工作的人，包括传统的量化分析师、Hadoop方面的工程师，以及任何在工作中需要通过数据来进行判断决策的管理者，比如某些领域的运营经理等，都可以尝试该职位，而各个领域的达人只要学会运用数据，也可以成为大数据工程师。

薪酬待遇

　　作为IT类职业中的“大熊猫”，大数据工程师的收入待遇可以说达到了同类的顶级。根据颜莉萍的观察，国内IT、通讯、行业招聘中，有10%都是和大数据相关的，且比例还在上升。颜莉萍表示，“大数据时代的到来很突然，在国内发展势头激进，而人才却非常有限，现在完全是供不应求的状况。”在美国，大数据工程师平均每年薪酬高达17.5万美元，而据了解，在国内顶尖互联网类公司，同一个级别大数据工程师的薪酬可能要比其他职位高20%至30%，且颇受企业重视。

职业发展路径

　　由于大数据人才数量较少，因此大多数公司的数据部门一般都是扁平化的层级模式，大致分为数据分析师、资深研究员、部门总监3个级别。大公司可能按照应用领域的维度来划分不同团队，而在小公司则需要身兼数职。有些特别强调大数据战略的互联网公司则会另设最高职位—如阿里巴巴的首席数据官。“这个职位的大部分人会往研究方向发展，成为重要数据战略人才。”颜莉萍说。另一方面，大数据工程师对商业和产品的理解，并不亚于业务部门员工，因此也可转向产品部或市场部，乃至上升为公司的高级管理层。

　　在了解以上信息之后，你应该对大数据工程师工作内容和职业规划有一定的了解，那么小编为你推荐大数据相关职业的薪酬具体是多少？

大数据人才市场薪酬报告(2015一季度)

　　2015年3月,白宫经任命DJ Patil作为全国第一个首席数据科学家。这位前PayPal和eBay的执行官，来到白宫之后有了新的任务：帮助美国政府最大限度的进行他们对大数据的投资，并围绕政府机构如何更好使用大数据给出建议。

　　美国政府正在用实际行动告诉大家，政府的工作已经不再是你印象中的那样了。过去的政府里，计算机还只是一个简单的办公工具，甚至被简单的当成笔和纸的替代品。但是今天，政府们却已经能迅速意识到他们需要新的领导，带领大家充分利用起他们的数据。

　　还有很多你没有注意到的细节来验证这一趋势：在LinkedIn上快速搜索发现，“数据科学家”这一职位的需求大约36000个。这反应出整个美国都在推动数据科学的进展。

　　据IDC统计，全球数据总量以每两年翻一番的速度爆发式增长,与此同时自然也催生出了大量与大数据处理相关的职，这群人在国外被叫做数据科学家(Data Scientist)，通过对数据的挖掘分析来影响企业的商业决策。

　　不过在国内，大数据的应用才刚刚萌芽，人才市场还不那么成熟。很多公司会根据已有的资源和短板，招聘能和现有团队互补的人才。有的强调数据库编程、有的突出统计学知识、有的则要求有咨询公司或投行相关的经验，所以title众多，诸如数据挖掘工程师、数据研究员、用户分析专家……不胜其数。

归根结底，我们要了解，企业对数据人才的需求源自企业的定位。专门的数据公司以及大公司的数据部门有完整的数据采集、数据挖掘、数据分析、数据结构的整套体系。而一般的企业多数只需要数据分析师，提供决策辅助和咨询。

　　所以，繁多的title背后，万变不离其宗的，是数据相关职位的职能，按照职能我们可以分为四类，对应的专业和职责分别是：

　　1、数据分析——专业：统计学，数学，计算机，信息管理，金融——主要职责：运用工具，提取、分析、呈现数据，实现数据的商业意义

　　2、 数据挖掘——专业：计算机、统计学、数学——主要职责：机器学习，算法实现

　　3、 数据工程师——专业：计算机、数学，统计学——主要职责：开发运用简单数据工具，实现数据建模等功能，需要业务理解

　　4、 数据架构师——专业：计算机、数学、——主要职责;高级算法设计与优化;数据相关系统设计与优化;需要有垂直行业经验

　　一、 数据分析相关职位

　　首先，来看下数据分析师的情况。这个职位的主要技能是1(数据分析)，附带2(数据挖掘)，有少量的3(运用已有工具建模)的需求。因为企业对这个职位的要求是作为业务部门的参考与辅助，因此希望是多面手。Title包括数据分析师(员/专员)，数据运营主管等。以深圳为例：

　　如上，深圳数据分析师(员/专员)的月薪中位数为：￥10375元/月，以上图表显示：最低工资3K-4.5K，最高工资20K-30K。

　　工资与年资的关系大致如下：

　　最急需人才的行业如下(工资中位数)：

　　数据显示，深圳数据分析在“互联网/电子商务”行业工资最高，为￥8431 。

　　地区竞争力排名如下：

　　分析显示，北上深是最急缺数据人才的城市，平均待遇也最佳。

　　职位(title)与薪水的对应关系如下：

　　其中，分析员与分析专员要求0-2年工作经验，数据分析师通常要求3年以上工作经验。

　　数据分析师招聘要求的表述范本如下：

　　任职要求：

　　1、统计学、计量经济学、数据挖掘等数据分析相关的专业本科以上学历。

　　2、3年以上互联网行业数据分析或数据挖掘经验，有IT大数据分析经验，咨询公司数据分析经验、互联网数据建模分析经验者优先。

　　3、熟悉MS Office、数据库、统计、数据分析、数据挖掘等相关领域知识、算法或工具

　　4、具备良好的数据敏感度，能从海量数据提炼核心结果。

　　可以看到，除非有专门商业数据部门的企业，其他企业一般需要的是个多面手，提供业务参考和咨询。

　　二、 数据挖掘相关职位

　　接下来我们来看下数据挖掘工程师的情况。合格的数据挖掘工程师通常需要有3年以上工作经验。一二线城市的大中型企业和数据咨询公司有此类独立职位。主要技能为2和3(数据挖掘和平台应用)。

　　所谓的一二线城市的大中型企业是指：

　　所以这是真正的金领。

　　深圳数据挖掘工程师工资中位数为：￥15166元/月，最低工资8K-10K，最高工资工资30-50K。当然，刚入职的0起点新人起薪是3500-5000。新人需要1年左右的培养期。

　　按照年资划分，由于此职位在中国出现时间比较短，所以只有一个大致的数据。

　　行业与地区与数据分析师的情况是一致的。所不同的是，因为此职位更加高端，所以一二线城市需求比较多。

　　Title和薪水的对应关系如下：

　　其中，5年以上经验者可以晋升为高级数据挖掘工程师，薪水约为30K-50K。

　　为了便于理解，我们来发个招聘样本，以下是腾讯的招聘需求：

　　工作经验：3-5年

　　薪资范围：￥ 18000-30000

　　学历要求：硕士以上

　　职位职责：负责用户产生的大数据在垃圾广告、违法信息等识别过滤领域的应用。负责分析、挖掘、对抗各种产品安全层面的恶意行为;

　　职位要求：计算机或相关专业本科以上学历，2年以上相关工作经验;

　　丰富的数据分析经验以及恶意对抗实战经验;

　　熟悉C/C 开发，有一定的架构能力和良好代码规范;

　　熟悉linux/unix系统与开发环境;熟悉mysql以及SQL语言

　　三、 数据工程师相关职位

　　接下来，我们来看下数据工程师的情况。这是比较复杂的情况，产生的title不计其数。但是归根结底，都是在已有平台和工具的基础上实现开发和运用。大部分我们见到的“数据**工程师”其实都归属此类。技能要求为3(数据结构和算法，分布式计算以及数据库知识等)，其次是1和2。就以最常见的title——数据工程师为例，仍然在深圳：

　　数据工程师这个title由于工作年限、技能水平、负责内容的不同，在深圳的薪酬跨度比较大：

　　如图，深圳数据工程师工资中位数：￥13156元/月，以上图表显示：最低工资2K-3K，最高工资20K-30K。

　　该职位是需求最为强劲的，title也很多。

　　我们可以看到，从2010年至今，需求是越来越大。薪酬也根据相应工作年限而增加。

　　行业竞争力和地区竞争力与之前的数据分析师、数据挖掘工程师是一致的。北上深需求最为强劲，互联网、地产、金融位列需求最大的前三名。

　　我们也可以关注下职位数，有兴趣入行的可以看看自己的城市是否上榜：

　　事实上，不止现在数据工程师需求缺口严重，根据国外的情况，未来这块仍然是大有可为的。美国人才招聘市场的数据分析领先者WANTED Analytics 最近给出报告，增长最快的大数据职位的技能要求如下：

　　这些岗位上需求增长最快的三项技能分别是：Python编程(96.90%)，Linux(76.60%)和SQL结构化查询语言(76%)

　　与之对应的是中国市场的雇主的招聘范本：

　　职位职能：大数据工程师

　　岗位职责：

　　负责数据采集产品设计和开发;

　　负责数据仓库建模、数据预处理子系统的设计和开发;

　　负责数据挖掘功能设计和开发。

　　任职资格：

　　有扎实的计算机理论基础, 对数据结构及算法有较强的功底;

　　熟练java、C 、Python中的任何一种语言，兼有者更佳;

　　对分布式系统原理有较深的理解，理解数据库和nosql相关理论;

　　有在网站公司或海量数据处理工作经验，数据分析和挖掘经验者优先;

　　有使用Go语言开发高性能后台系统经验者优先;

　　熟悉Sphinx全文检索引擎经验者优先。

四、数据架构师职位情况

　　最后我们来看看数据架构师，这是整个数据产业上的顶端职位，最终指向也是——首席数据官/架构专家。这个职位一般是猎头职位，要求是4(“软件工程技能牛过多数人的统计学家”;高级算法设计与优化;数据相关系统设计与优化;需要有垂直行业经验)。既要懂行业，又要技术资历(最少3年，一般5年)，所以空缺巨大。笔者朋友公司的该职位就动用猎头招了快半年。薪资是30K-50K。当然更多一线公司开出来的是“薪资面议”，你懂的。接下来仍然以深圳为例：

　　这个职位的统计因为人才缺口巨大,样本过少。所以我们只能大致来看看薪酬待遇，统计结果是偏低的，仅能作为参考。

　　深圳数据架构师工资中位数：￥23700元/月，以上图表显示：最低工资10K-15K，最高工资无法确定。唯一肯定的是一定超过百万。

　　企业的招聘要求如下(百度为例)：

　　岗位职责：

　　负责数据中心空调/配电系统/智能监控等新技术工程研发、验证及落地

　　负责数据中心基础设施智能监控平台需求梳理、功能分析、运行数据分析与挖掘

　　参与数据中心运维调优，制定优化控制策略

　　负责智能数据中心架构设计，推动基础设施监控平台与IT系统信息融合及联动

　　任职资格:

　　本科及以上学历

　　5年或以上数据中心行业设计、咨询、建设工作经验，熟悉空调/电气/监控系统架构

　　熟悉基础设施系统各组件、系统参数计算、设备选型

　　有开阔的技术视野，较强的流程分析和优化能力

　　较强的项目协调及管理能力，良好团队协作能力

　　五、 总结

　　综上所述，数据相关的职位，指向的是数据采集、数据挖掘、数据分析、数据结构四大技能，即使初级职位，要求也是一专多能。高级职位则要求每个模块都有理解，对统计、编程、行业理解都要求很高。

　　未来是一个数据的时代，也是数据科学家的时代!

根据以上内容，小编为大家推荐一些相关内容