大数据知识体系大全---零基础如何学习大数据技术？

在我学习和从事大数据相关工作的4年里，在我有限的知识海洋里，大数据是一个以数据流向为主的链条或管道，数据从何而来，又去往哪里，不仅是哲学上的一个问题，也可以在做数据工作的时候考虑这个问题。如下图所示，大数据领域可以分为以下几个主要方向，而这几个方向又可以分别对应一些工作职位：

 

想要在大数据这个领域汲取养分，让自己壮大成长。分享方向，行动以前先分享下一个大数据交流分享资源群870097548，欢迎想学习，想转行的，进阶中你加入学习。
 

 

1 数据平台

Data Platform，构建、维护稳定、安全的大数据平台，按需设计大数据架构，调研选型大数据技术产品、方案，实施部署上线。对于大数据领域涉及到的大多数技术都需要求有所了解，并精通给一部分，具备分布式系统的只是背景……

对应职位：大数据架构师，数据平台工程师

2 数据采集

Data Collecting，从Web/Sensor/RDBMS等渠道获取数据，为大数据平台提供数据来源，如Apache Nutch是开源的分布式数据采集组件，大家熟知的Python爬虫框架ScraPy等。

对应职位：爬虫工程师，数据采集工程师

3 数据仓库

Data Warehouse，有点类似于传统的数据仓库工作内容：设计数仓层级结构、ETL、进行数据建模，但基于的平台不一样，在大数据时代，数据仓库大多基于大数据技术实现，例如Hive就是基于Hadoop的数据仓库。

对应职位：ETL工程师，数据仓库工程师

4 数据处理

Data Processing，完成某些特定需求中的处理或数据清洗，在小团队中是结合在数据仓库中一起做的，以前做ETL或许是利用工具直接配置处理一些过滤项，写代码部分会比较少，如今在大数据平台上做数据处理可以利用更多的代码方式做更多样化的处理，所需技术有Hive、Hadoop、Spark等。BTW，千万不要小看数据处理，后续的数据分析、数据挖掘等工作都是基于数据处理的质量，可以说数据处理在整个流程中有特别重要的位置。

对应职位：Hadoop工程师，Spark工程师

5 数据分析

Data Analysis，基于统计分析方法做数据分析：例如回归分析、方差分析等，天善也有很多数据分析课程。大数据分析例如Ad-Hoc交互式分析、SQL on Hadoop的技术有：Hive 、Impala、Presto、Spark SQL，支持OLAP的技术有：Kylin。

对应职位：数据分析师

6 数据挖掘

Data Mining，是一个比较宽泛的概念，可以直接理解为从大量数据中发现有用的信息。大数据中的数据挖掘，主要是设计并在大数据平台上实现数据挖掘算法：分类算法、聚类算法、关联分析等。

对应职位：数据挖掘工程师

7 机器学习

Machine Learning，与数据挖掘经常一起讨论，甚至被认为是同一事物。机器学习是一个计算机与统计学交叉的学科，基本目标是学习一个x->y的函数（映射），来做分类或者回归的工作。之所以经常和数据挖掘合在一起讲是因为现在好多数据挖掘的工作是通过机器学习提供的算法工具实现的，例如个性化推荐，是通过机器学习的一些算法分析平台上的各种购买，浏览和收藏日志，得到一个推荐模型，来预测你喜欢的商品。

对应职位：算法工程师，研究员

8 深度学习

Deep Learning，是机器学习里面的一个topic（非常火的Topic），从深度学习的内容来看其本身是神经网络算法的衍生，在图像、语音、自然语言等分类和识别上取得了非常好的效果，大部分的工作是在调参。不知道大家有否发现现在的Google 翻译比以前的要准确很多，因为Google在去年底将其Google 翻译的核心从原来基于统计的方法换成了基于神经网络的方法~So~

对应职位：算法工程师，研究员

9 数据可视化

Data Visualization，将分析、挖掘后的高价值数据用比较优美、灵活的方式展现在老板、客户、用户面前，更多的是一些前端的东西，maybe要求一定的美学知识。结合使用者的喜好，以最恰当的方式呈现数据价值。

对应职位：数据工程师，BI工程师

10 数据应用

Data Application，从以上的每个部分可以衍生出的应用，例如广告精准投放、个性化推荐、用户画像等。

对应职位：数据工程师

建议：想进入大数据领域的朋友可以选一个与自己现有技术背景相匹配的方向作为入门，然后将你的魔爪延伸到其他感兴趣的方向，这是最快进入这个领域的一个方法。这里所列的每一个方向都需要耗费大量的时间、脑力、体力，都是这个智能时代继续发展的过程中不可或缺的一部分。

第一阶段

了解大数据的基本概念

首先，学习一门课程的时候，要对这门课程有一个简单的了解，比如说，要先学习这门课程的一些专业的术语，学习一些入门概念知道这门课程是做什么的，主要的学习知识有哪些。因此学习大数据就必须知道什么是大数据，一般大数据的运用领域是那些，避免自己在对大数据一无所知的情况下就开始盲目学习。

第二阶段

大数据课程学习

对于零基础的小伙伴们来说，开始入门可能并不是那么容易，需要学习大量的理论知识，阅读枯燥的教材。因此要通过自学来掌握一门计算机编程语言，还是很难的。大家都知道计算机编程语言有很多，比如：C++，Python，Java等等。

第三阶段

项目实战阶段

实战训练可以帮助我们更好的理解所学的内容，同时对相关知识加强记忆。在以后的实际运用中，可以更快的上手，对于相关知识的使用方法也有了经验。

世上无难事只怕有心人，无论你是有基础也好还是没基础也好，只要你认真学习大数据就一定会学好。

第四阶段

后续提高

大数据结合人工智能可以达到真正的数据科学家。

机器学习：是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。它是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演绎。机器学习的算法基本比较固定了，学习起来相对容易。

深度学习：深度学习的概念源于人工神经网络的研究，最近几年发展迅猛。深度学习应用的实例有AlphaGo、人脸识别、图像检测等。是国内外稀缺人才，但是深度学习相对比较难，算法更新也比较快，需要跟随有经验的老师学习。

最快的学习方法，就是参加大数据课程培训，师从行业专家，毕竟老师有多年积累的经验，自己少走弯路达到事半功倍的效果。