随着大数据的爆发,中国IT业内环境也将面临新一轮的洗牌,不仅是企业,更是从业人员转型可遇而不可求的机遇。如果将IT人士统一比作一条船上的海员,大数据就是最大的浪潮,借浪潮之势而为之。这里通过网上看到大家的疑问分析,这里整理了5个大家相对比较关心的问题。
在美国,大数据工程师平均年薪达17.5万美元,在中国顶尖的互联网公司里,大数据工程师的薪酬比同级别的其他职位高出30%以上。DT时代来得太突然了,国内发展势头很猛,而大数据相关的人才却非常地有限,在未来若干年内都会是供不应求的状况。
一、大数据是什么?怎么理解大数据?
如果把数据比作地球上的水,单个数据就是一滴水,大数据就象地球上的海洋,它足够大,水滴足够多,多到用人工数不清楚,但总的来说,可以通过一定的方式估计海洋中水滴的总量。这么说,你明白大数据了吗?都说我们置身数据的海洋,当你在普吉坐船出海、在芽庄海滩游玩,你可是真的置身海洋,并与之亲密接触。
大数据的4V,就是“容量大Volume”“多样性Variety”“价值高Value”“速度快Velocity”,同样以海洋为例:
A.海洋中水的量非常大;
B.海水是多样的,太平洋的海水和大西洋的海水是有区别的,不同地方海水里面蕴含的物质、生活的物种都有不同;
C.海洋为全人类带来的好处太多了,人们利用海洋,开发海洋中无穷的价值;
D.速度快,有两个层面的意思,一是海水流动快,二是随着技术的提升,我们对海水的利用也加快了速度(看看快艇、游轮的发展)。PS:比喻有点牵强。
二、大数据领域都有哪些从业方向?
入行方向1:大数据系统研发领域
大数据系统研发领域说白了就是大数据里面搞IT的,承担整个运营系统的构建与维护、数据准备、平台与工具开发。
入行方向2:大数据建模与挖掘
大数据挖掘指的是利用算法和模型提高数据处理效率、挖掘数据价值、实现从数据到知识的转换。大数据挖掘工程师,也叫机器学习算法工程师,首先得有扎实的数理统计功底,统计学是最基础的,同时熟练掌握常用的统计分析和机器学习模型算法,而且有好奇心和耐心有钻研精神。
入行方向3:大数据分析应用领域
大数据分析应用就是帮助企业把数据和技术转化为商业价值,我们常说的初级/高级数据分析师,或数据分析项目经理都属于这个领域。相对于前两个领域,分析应用领域所要求的技能最为全面的,需要从业者拥有复合型的知识结构和背景,包括对行业和业务深刻理解力,数据分析处理与解读力,沟通表达及管理能力三个方面。
三、我现在学大数据晚吗?
Gartner是一家领先的市场和技术研究公司,在Gartner 2015新兴技术发展周期报告。区块链、自动驾驶汽车与物联网处在顶峰部位,而大数据则关注度有所下降。
许多人以此为依据,说大数据已近过时了,事实是,Gartner这张图反应的是新兴技术的发展趋势。经过10年的发展,随着区块链、人工智能等新技术的关注度提升,大数据作为一项相对成熟的技术受关注下降是自然而言的事情,或者可以说大数据已经从新兴技术的范畴而转入商用阶段。大数据技术已成为这些可能改变世界格局的12项技术中许多技术的基石,包括移动互联网、知识工作自动化、物联网、云计算、先进机器人、自动汽车、基因组学等都少不了大数据应用。
大数据不存在所谓“过热”和“虚火”的问题,未来10年甚至更长一段时间都是大数据发展的黄金阶段,相关的行业将引来巨大的发展机遇。从市场和行业趋势看,现在学习大数据正当时。
四、如何转行大数据工程师?
一个常见的大数据工程师招聘需求为:
1. 计算机或相关专业本科及以上学历
2. 具有丰富的数据开发经验,对数据处理、数据建模、数据分析等有深刻认识和实战经验
3. 熟悉SQL,有一定的SQL性能优化经验
4. 熟练掌握Java语言,MapReduce编程,脚本语言Shell/Python/Perl之一
5. 业务理解力强,对数据、新技术敏感,对云计算、大数据技术充满热情
6. 积极乐观、诚信、有责任心;具备强烈的进取心、求知欲及团队合作精神
数据工程师属于典型的技术线,负责搭建仓库搭建、数据的存储、处理、计算处理、报表开发等。
五、给想转做大数据相关工作的建议
重视基础。无论各种岗位,基础是成长的基石。
发挥专长。从能够发挥自己现有专长的岗位做起,可以让新团队更欢迎你的加入。比如算法模型的工程化,偏重于业务的数据挖掘,大数据平台开发,机器学习系统开发等等,这些工作对于普通工程师更容易上手。而普通工程师直接转偏研究方向的算法工程师,难度更高。
准备充分。请预先做好相关知识的学习,有动手实践更佳。如果没有一点准备,雇主如何相信你对这个领域真的有兴趣呢?
最后,如果你确实对大数据、数据挖掘有浓厚兴趣,最好的办法是立刻开始实践。推荐下我自己创建的大数据交流学习群 724693112,不管你是小白还是大牛我们都欢迎,学习文档资料已上传到群文件,不定期分享干货每周有一期免费的大数据技术分享课给大家,还有整理好的各编程技术教程可以私聊群主获取,希望有兴趣的朋友都可以来了解一下。
也许你不会以此为职业,但是可以多一技傍身。也许,未来这些技能对于程序员而言,就好比现在 MS Office 对于职场人一样普遍。