大宝大话大数据(二)——大数据的学习路径和方法

本文将对自己学习大数据的路径和方法做一个回顾,有意入门大数据开发的同学可以参阅我的学习过程,结合自己的实际情况,做一些优化和调整。以下内容都是我的一家之言,仅供参考。

首先说下学习方法的问题。

我刚开始学大数据的时候,还没有老师和学长给我理清大数据的整体架构。我还真是盲人摸象,今天学学MapReduce,明天看看Spark。当时上刘军老师《海量数据处理》这门课的时候,老师很好,很认真讲了Hadoop的原理,结构什么的。但是说实话,作用很小。在没有整体框架搭起来,没有一些实际的操作经验作为铺垫之前,就讲这些原理和细节,根本就听不懂在干嘛。

计算机技术又是一个讲究实效的学科,空洞的原理很快就会打消学习的兴趣,而且在公司是以结果为导向,看你能不能搞定。所以我自己总结的学习计算机某一项技术的三把斧:
- 快速上手,现学现用
- 遇到问题,网上百度
- 剖析原理,理解提高

比如我要学习Redis,第一步我就先从网上找资料,了解它是个什么东西,解决了一个什么问题,在整个计算机开发中属于什么定位;第二步就是在实际案例中,具体怎么使用。比如自己电脑安装一个Redis,用Java写一个读写Redis的小demo,中间遇到任何问题,先去网上找资源找答案,如果解决不了再去求助他人;在使用一段时间后,对Redis玩的比较溜了,就可以看一些高水平的博客,书籍,对Redis的原理,设计思路有一些了解,这样也会帮助开发,提升自己的知识储备。

这个套路是比较适合我的学习方式,我在自己学习Spark的过程中,基本就是这样。先快速学习了一些概念和demo,然后在美团做了一些的开发,最后翻过头来再学习Spark的原理,就理解的比较快。

学习方法本事就是见仁见智,这里仅供参考。

其次做为一个程序员,无论做前端、后台、客户端还是算法数据,有一些基础知识是必备的:
- 掌握编程语言,Java|C++ && Python|Shell
- 熟悉Linux常用命令
- 熟练SQL

我认为上述三项技能在日常工作中经常用到,有必要对其有基本的了解和使用经验。注意,这里只要求做到有使用经验,可以参阅API、文档去处理特定任务即可。有不会的百度就可以了。千万别花太大精力研究的太深,目前这个阶段用不着。

最后就是重头戏了,怎么开始学习大数据。

talkingbigdata2.jpg

还是把这张图贴出来,对这些组件还不清楚的读者可以翻阅我之前的文章。

第一步首先学习大数据的基石——Hadoop2.0+,尤其要理解HDFS、Yarn、MR在整个体系中的作用。基本技能是HDFS那点命令,重点理解HDFS的设计结构,HA机制,读写过程;MapReduce的原理,Hadoop2.0的改进点。在自己电脑上部署一个伪分布式的集群,尝试HDFS的操作。

第二步学习Spark,学习使用scala/python写一些批处理的程序。基本技能是Spark RDD的编程,重点理解常见算子、Spark任务提交流程、Shuffle、分区、数据倾斜怎么办。同样在自己电脑上安装spark,使用local、yarn两种模式提交jar包

第三步学习Hive,使用Hive shell做常见的表操作、使用Hive SQL做一些批处理。理解Hive是如何从SQL语句翻译到MR作业的。在此过程中,学习数据仓库的概念。同样自己电脑安装,学习使用。

第四步继续学习Spark进阶,学习Spark的其他组件、比如Spark SQL、MLlib等。还可以根据项目需求,学习Sqoop、Hbase等组件。这个时候可以做一些项目,比如结合Hive、HDFS、jdbc、Sqoop、Hbase做一些离线处理的项目;比如使用MLlib做一些简单的机器学习。通过上述四步,应该对基本的大数据批处理上手了。

第五步学习Flume,kafka。学习Flume的结构和配置,学习kafka的基本原理和结构,能使用java/scala写kafka的生成者和消费者demo。理解zookeeper在集群中的作用,和它的工作原理。电脑上安装软件,学习使用。

第六步学习Spark Steaming/Storm。使用scala/java写流计算的demo,理解有状态算子、checkpoint、window等概念。结合flume、kafka、做一个简单的日志处理平台。完成这一步对基本的大数据流计算上手。

第七部,实际上到这里,就对整个大数据有了基本的理解了。对各种组件有较多使用经验、对一些经典的组件原理也有所理解。这个时候可以根据需要,查缺补漏。继续学习新的大数据组件,或者补充学习一些AI的算法。

最后推荐一些看过的书做参考吧:
- 《Sparkk快速大数据分析》,初学spark可以看
- 《Spark大数据分析实战》,spark实战系列,可以跟着学一些项目
- 《Spark技术内幕-深入解析Spark内核架构设计》,在对Spark有了实践后,读一读理解spark的优秀设计
- http://spark.apache.org/ 官网,demo来源
- 《spark性能优化指南-初级篇|高级篇》 spark性能优化必看
- 《Hadoop实战》,很厚的一本书
- 《kafka入门与实践》,初学kafka可以看
- 《mysql必知必会》,SQL入门书籍
- 《疯狂的Java》,Java EE入门

还有一些博客
- http://lxw1234.com/ lxw的大数据田地
- https://www.iteblog.com/ 过往记忆
- http://dblab.xmu.edu.cn/ 厦门大学数据库实验室
- http://www.java1234.com/a/javabook/ 可以下载一些电子书

大数据知识点比较杂,需要有耐心和兴趣。可以从事数仓、ETL、数据分析、批处理开发、流计算开发、平台开发等相关工作。在目前主流的互联网公司、银行等,大数据已经非常成熟了,已经是生产运营不可缺少的一部分。对于最热的算法同学来说,熟练掌握大数据工具也是必备技能。所以欢迎同学们根据需要,尝试了解和学习大数据吧。

谢谢大家!

你可能感兴趣的:(大宝大话大数据(二)——大数据的学习路径和方法)