大数据技术知识的学习及其切入点

大数据在越来越多的领域得到了关注，将成为今后很长时间内科研、技术、产业、市场的焦点。作为大数据技术的学习者和应用开发者，应该从哪个角度入手掌握大数据技术? 在目前纷繁复杂的各类教材和参考书中如何选择适合自己的书籍? 本文介绍并分析了学习大数据技术时，需要考虑的问题。

首要的问题：学习大数据要有充足的大数据源。也许很多人会想到使用交通大数据、金融大数据、医疗大数据、政务大数据等，但是仔细一想，这些数据的开放性很差。5月24日在贵阳的大数据产业博览会上，大批专家学者还在争论数据开放共享和数字政府治理的相关政策问题，还是一个务虚会，可见此类数据要真正开放共享、真正让普通学习者使用还有很长的路。从根本上讲，这些数据涉及到民众的大量隐私问题，即使能开放共享，也需要在特定的、受控的场合下使用，而这实际上这并不可行。在《互联网大数据处理技术与应用》一书中，我们阐述了互联网大数据作为教学、学习以及开发应用的重要性和可行性。

其次，要认识自己的技术特长、兴趣和学习的目的，选择合适的切入点进行学习。我们知道大数据技术通常包含3或4层的技术，以互联网大数据技术为例，其技术体系包含四层，即数据获取层、大数据计算与存储层、数据挖掘模型与算法层以及应用领域技术层。

作为大数据的学习者可以选择这四个层面作为自己的切入点。作为高校大数据教学，让学生进行系统地学习则是很重要的，这样有利于给学生一个全局、整体的理解，这样就要求以“系统学习的切入点”入手。如图所示，互联网大数据知识体系中标注了这些不同的切入点。

接下来，分析各个层次选择的一些考虑。如果你对大数据开发感兴趣，想系统学习大数据的话，可以加入大数据技术学习交流扣扣群：458数字345数字782，欢迎添加，私信管理员，了解课程介绍，获取学习资源

数据获取层：技术手段比较多样化，对于互联网大数据而言，数据的获取主要有三类方法，即网络爬虫、网络探针以及ETL。虽然爬虫技术也被越来越多的人所认识，但是爬虫形式多样化，包含普通爬虫、主题爬虫、微博爬虫、DeppWeb爬虫、动态爬虫甚至Dark Web爬虫技术，有共同的技术特点，也有较大的差异。以该层作为重点的话，应当深入理解爬虫的技术原理，以便能对爬虫采集的性能进行底层优化，特别是在爬行策略的设计上。

大数据计算与存储层：这个层次上的计算是指面向大数据分析的一些底层算法，典型的包括排序、搜索、查找、最短路径、矩阵运算等。这些算法与具体应用无关，它们为上层的数据挖掘提供基本的函数调用，算法性能的重要性不言而喻。一般需要一些分布式计算平台支持，例如Spark、Hadoop。但是该层作为研究和学习的重点，存在一定风险，就是平台技术的迭代太快，或许你还没有把Spark的技术原理彻底搞清楚，就有新的更好的平台出现，大家都追随新平台去了，老平台被大家抛弃。

数据挖掘模型与算法层：这个层次对采集的数据进行处理，根据具体应用需求，运用大数据分析算法进行数据分析，建立相关模型。各种大数据分析挖掘算法主要包括数据聚类、分类、相关性计算、回归、预测等。这些算法的输出结果将直接为领域提供具体的分析结果，是大数据分析的真正产出。在这个层次中，隐私保护技术是一种比较特殊的技术手段，主要用于对大数据中涉及个人和单位的敏感信息进行脱敏。针对该层，也有一些典型的开源系统，如运行于Hadoop 上的Mahout、Weka、oryx 以及运行于Spark上的MLib 等，都对大数据分析提供了支撑，同时也允许自己对算法进行改进和提升。是一个不错的切入点。

应用领域技术层：在这个层次，主要涉及到与具体应用领域有关的技术。这些技术通常就与用户UI、系统管理、输出有关。

最后，回答前面提到的问题。现在大数据技术方面的参考书或教材很多，但是大都针对大数据计算与存储层或数据挖掘模型与算法层，技术层次的阐述不够完整，也不利于进行系统学习。《互联网大数据处理技术与应用》的特色是完整包含这四层技术，并且在数据挖掘模型与算法层中以非结构化数据为主，书中有许多例子，在清华大学出版社的图书主页上可以下载PPT。