一、大数据入门的前期准备工作
1. 了解什么是云计算
2. 了解什么是虚拟化
3. 学习Linux操作系统
4. 具备扎实的JAVA基础
二、认识大数据
浏览以下文章,你可以对大数据的概念、大数据涉及的技术、大数据的重要性、大数据架构、大数据实例等等方面,对大数据进行一个全面的了解。
《不懂这25个名词,好意思说你懂大数据?》
《大数据基本概念及技术》主要介绍:基本概念、大数据的技术、大数据的影响等
《大数据对你来说意味着什么?》主要介绍:大数据实例、大数据类型、大数据架构等
三、学习hadoop
<img src="https://pic2.zhimg.com/50/v2-9638822ad73e659ead02f1108ad13b3f_hd.jpg" data-caption="" data-size="normal" data-rawwidth="381" data-rawheight="189" class="content_image" width="381"/>
《Hadoop简介》
《Hadoop系统架构》
《浅析Hadoop框架设计》
四、学习Spark
<img src="https://pic3.zhimg.com/50/v2-d8e1b2d245b71b57d06ae310908b3245_hd.jpg" data-caption="" data-size="normal" data-rawwidth="407" data-rawheight="215" class="content_image" width="407"/>
《Hello Spark! | Spark,从入门到精通》本文章由浅入深为大家介绍了 Spark,从框架入门到底层架构的实现
《Spark架构原理》本文总结了Spark架构原理,其中主要包括五个组件:Driver、Master、Worker、Executor和Task,简要概括了每个组件的作用,以及总结提交spark程序之后,这五个组件运行的详细步骤。
专栏:《Spark学习技巧》
五、Storm
<img src="https://pic1.zhimg.com/50/v2-ecf59b97de073dc8ce5c32ab2dbaeebc_hd.jpg" data-caption="" data-size="normal" data-rawwidth="338" data-rawheight="158" class="content_image" width="338"/>
《Storm概述》
本文介绍了Storm是什么,应用场景有哪些?Storm有什么特点?spout发出的消息后续可能会触发产生成千上万条消息,Storm如何跟踪这条消息树的?Storm本地模式的作用是什么?
《Storm介绍及原理》本文从概述、Storm组件、入门案例等方面对Storm进行了系统介绍。
在这里还是要推荐下我自己建的大数据学习交流群:943791324,群里都是学大数据开发的,如果你正在学习大数据 ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有大数据软件开发相关的),包括我自己整理的一份最新的大数据进阶资料和高级开发教程,欢迎进阶中和进想深入大数据的小伙伴加入。
大数据作为目前热门岗位和职业,分工越来越精细,入门根据职业方向有不同的发展路线。
大数据职业方向总体可分为2大方向5大职业。2大类分别为技术类和业务类。
其中,技术方向侧重于怎样处理好数据,业务方向侧重于怎样用好数据
一、技术方向
技术类方向是数据界的码农、程序员。
1、数据平台研发路线
职责:主要负责大数据技术的产品化,包括开源技术框架的研究、封装和开发。
入门:google 三篇大数据论文(Mapreduce、BigTable、GFS),系统性了解大数据技术体系(spark、hadoop、hbase等技术),通读一遍各技术框架的技术文档,知道每项技术能够解决什么问题,其实现原理,优缺点等;能够调用各技术框架API进行功能封装。
进阶:能够优化开源框架性能及完善开源技术、作为开源社区的commiter
发展:数据平台研发架构师、数据平台产品经理
2、数据开发路线
职责:也叫ETL工程师,主要负责使用大数据技术采集、处理、分析数据;
入门:同数据平台研发工程师,并熟练使用SQL、存储过程;
进阶:技术选型、技术架构设计、数据架构设计、平台性能调优
发展:数据架构师、大数据DBA
3、数据算法路线
职责:俗称调参工程师,主要负责使用机器学习算法建模,处理业务需求,基于算法引擎封装算法工具。
入门:python语言,sklearn、tensorflow等算法引擎,熟悉决策树、SVM、朴素贝叶斯、神经网络等各种算法原理和适用场景;
进阶:业务建模、调参
发展:数据科学家
4、数据可视化路线
职责:主要负责数据可视化应用开发
入门:各种数据可视化图表适用场景、echarts框架、vue、BI工具
进阶:数据应用可视化UIUE设计、大屏展现设计
发展:数据艺术家
二、业务类
1、数据分析路线
岗位:主要负责结合业务问题,使用大数据分析、制作数据分析报告、规划数据应用
入门:熟悉各种分析图表、数据分析工具、具备数据分析报告撰写能力等
进阶:熟悉各种算法概念及使用场景、具备敏锐的业务思维、管理思维和应用规划能力
发展:数据咨询师、数据产品经理
以上,希望有帮助,谢谢。