从Hadoop框架浅谈大数据生态

一.大数据概述

1.大数据概念

    大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

    主要解决海量数据的存储和海量数据的分析计算问题。

    按顺序的数据存储单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、DB、NB。

 

2.大数据的特点

    Volume(海量性)

    截至目前，人类生产的所有印刷材料的数据量是200PB(1PB=210TB)，而历史上全人类说过的所有的话的数据量大约是5EB(1EB=210PB)。当前，典型个人计算机硬盘的容量为TB量级，而一些大企业的数据量已经接近EB量级。

    Velocity(高速性)

    这是大数据区分于传统数据挖掘的最显著特征。根据IDC的“数字宇宙”的报告，预计到2020年，全球数据使用量将达到35.2ZB。在如此海量的数据面前，处理数据的效率就是企业的生命。

    Variety(多样性)

    这种类型的多样性也让数据被分为结构化数据和非结构化数据。相对于以往便于存储的以文本为主的结构化数据，非结构化数据越来越多，包括网络日志、音频、视频、图片、地理位置信息等，这些多类型的数据对数据的处理能力提出了更高要求。

    values（价值密度低）

    价值密度的高低与数据总量的大小成反比。以视频为例，一部1小时的视频，在连续不间断的监控中，有用数据可能仅有一二秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”成为目前大数据背景下亟待解决的难题。 

 

3.大数据的用途

    第一，对大数据的处理分析正成为新一代信息技术融合应用的结点。移动互联网、物联网、社交网络、数字家庭、电子商务等是新一代信息技术的应用形态，这些应用不断产生大数据。云计算为这些海量、多样化的大数据提供存储和运算平台。通过对不同来源数据的管理、处理、分析与优化，将结果反馈到上述应用中，将创造出巨大的经济和社会价值。

    第二，大数据是信息产业持续高速增长的新引擎。面向大数据市场的新技术、新产品、新服务、新业态会不断涌现。在硬件与集成设备领域，大数据将对芯片、存储产业产生重要影响，还将催生一体化数据存储处理服务器、内存计算等市场。在软件与服务领域，大数据将引发数据快速处理分析、数据挖掘技术和软件产品的发展。

    第三，大数据利用将成为提高核心竞争力的关键因素。各行各业的决策正在从“业务驱动” 转变“数据驱动”。

    对大数据的分析可以使零售商实时掌握市场动态并迅速做出应对;可以为商家制定更加精准有效的营销策略提供决策支持;可以帮助企业为消费者提供更加及时和个性化的服务;在医疗领域，可提高诊断准确性和药物有效性;在公共事业领域，大数据也开始发挥促进经济发展、维护社会稳定等方面的重要作用。

    第四，大数据时代科学研究的方法手段将发生重大改变。例如，抽样调查是社会科学的基本研究方法。在大数据时代，可通过实时监测、跟踪研究对象在互联网上产生的海量行为数据，进行挖掘分析，揭示出规律性的东西，提出研究结论和对策

 

二. 从Hadoop框架讨论大数据生态

1. Hadoop是什么

    Hadoop： 适合大数据的分布式存储和计算平台

    Hadoop不是指具体一个框架或者组件，它是Apache软件基金会下用Java语言开发的一个开源分布式计算平台。实现在大量计算机组成的集群中对海量数据进行分布式计算。适合大数据的分布式存储和计算平台。

 

2.Hadoop的起源和发展历史

    2003-2004年，Google公布了部分GFS和MapReduce思想的细节，受此启发的Doug Cutting等人用2年的业余时间实现了DFS和MapReduce机制，使Nutch性能飙升。然后Yahoo招安Doug Gutting及其项目。

    2005年，Hadoop作为Lucene的子项目Nutch的一部分正式引入Apache基金会。

    2006年2月被分离出来，成为一套完整独立的软件，起名为Hadoop

    Hadoop名字不是一个缩写，而是一个生造出来的词。是Hadoop之父Doug Cutting儿子毛绒玩具象命名的。

    Hadoop的成长过程

    Lucene–>Nutch—>Hadoop

 

    总结起来，Hadoop起源于Google的三大论文

        GFS：Google的分布式文件系统Google File System

        MapReduce：Google的MapReduce开源分布式并行计算框架

        BigTable：一个大型的分布式数据库

 

    演变关系

        GFS—->HDFS

        Google MapReduce—->Hadoop MapReduce

        BigTable—->HBase

 

3.Hadoop三大发行版本

    Hadoop三大发行版本：Apache、Cloudera、Hortonworks。

    Apache版本最原始（最基础）的版本，对于入门学习最好。

    Cloudera在大型互联网企业中用的较多。

    Hortonworks文档较好。

 

(1) Apache Hadoop

    官网地址：http://hadoop.apache.org/releases.html

    下载地址：https://archive.apache.org/dist/hadoop/common/

 

(2) Cloudera Hadoop

    官网地址：https://www.cloudera.com/downloads/cdh/5-10-0.html

    下载地址：http://archive-primary.cloudera.com/cdh5/cdh/5/

    ① 2008年成立的Cloudera是最早将Hadoop商用的公司，为合作伙伴提供Hadoop的商用解决方案，主要是包括支持、咨询服务、培训。

    ② 2009年Hadoop的创始人Doug Cutting也加盟Cloudera公司。Cloudera产品主要为CDH，Cloudera Manager，Cloudera Support

    ③ CDH是Cloudera的Hadoop发行版，完全开源，比Apache Hadoop在兼容性，安全性，稳定性上有所增强。

    ④ Cloudera Manager是集群的软件分发及管理监控平台，可以在几个小时内部署好一个Hadoop集群，并对集群的节点及服务进行实时监控。Cloudera Support即是对Hadoop的技术支持。

    ⑤ Cloudera的标价为每年每个节点4000美元。Cloudera开发并贡献了可实时处理大数据的Impala项目。

 

(3) Hortonworks Hadoop

    官网地址：https://hortonworks.com/products/data-center/hdp/

    下载地址：https://hortonworks.com/downloads/#data-platform

    ① 2011年成立的Hortonworks是雅虎与硅谷风投公司Benchmark Capital合资组建。

    ② 公司成立之初就吸纳了大约25名至30名专门研究Hadoop的雅虎工程师，上述工程师均在2005年开始协助雅虎开发Hadoop，贡献了Hadoop80%的代码。

    ③ 雅虎工程副总裁、雅虎Hadoop开发团队负责人Eric Baldeschwieler出任Hortonworks的首席执行官。

    ④ Hortonworks的主打产品是Hortonworks Data Platform（HDP），也同样是100%开源的产品，HDP除常见的项目外还包括了Ambari，一款开源的安装和管理系统。

    ⑤ HCatalog，一个元数据管理系统，HCatalog现已集成到Facebook开源的Hive中。Hortonworks的Stinger开创性的极大的优化了Hive项目。Hortonworks为入门提供了一个非常好的，易于使用的沙盒。

    ⑥ Hortonworks开发了很多增强特性并提交至核心主干，这使得Apache Hadoop能够在包括Window Server和Windows Azure在内的microsoft Windows平台上本地运行。定价以集群为基础，每10个节点每年为12500美元。

 

4.Hadoop的优势

     高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。

     高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。

     高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。

     高容错性：能够自动将失败的任务重新分配。

 

5.Hadoop组成

    当前Hadoop有两个版本：Hadoop 1.0和Hadoop 2.0。Hadoop 1.0由一个分布式文件系统HDFS和一个离线计算框架MapReduce组成。Hadoop 2.0由一个支持NameNode横向扩展的HDFS，一个资源管理系统YARN和一个运行在YARN上的离线计算框架MapReduce。相比于Hadoop 1.0，Hadoop 2.0功能更加强大，且具有更好的扩展性、性能，并支持多种计算框架。

    下面以Hadoop 2.0为例，对Hadoop的组成架构做下简单介绍：

(1) HDFS架构概述

    HDFS总体上采用了master/slave架构，主要由以下几个组件组成：Client、NameNode、Secondary、NameNode和DataNode。

    ① Client

    Client（代表用户）通过与NameNode和DataNode交互访问HDFS中的文件。Client提供了一个类似POSIX的文件系统接口供用户调用。

    ② NameNode

    整个Hadoop集群中只有一个NameNode。它是整个系统的“总管”，负责管理HDFS的目录树和相关的文件元数据信息。这些信息是以“fsimage”（HDFS元数据镜像文件）和 “editlog”（HDFS文件改动日志）两个文件形式存放在本地磁盘，当HDFS重启时重新构造出来的。此外，NameNode还负责监控各个DataNode的健康状态，一旦发现某个DataNode宕掉，则将该DataNode移出HDFS并重新备份其上面的数据。

    ③ Secondary NameNode

    Secondary NameNode最重要的任务并不是为NameNode元数据进行热备份，而是定期合并fsimage和edits日志，并传输给NameNode。这里需要注意的是，为了减小NameNode压力，NameNode自己并不会合并fsimage和edits，并将文件存储到磁盘上，而是交由Secondary NameNode完成。

    ④ DataNode

    一般而言，每个Slave节点上安装一个DataNode，它负责实际的数据存储，并将数据信息定期汇报给NameNode。DataNode以固定大小的block为基本单位组织文件内容，默认情况下block大小为64MB。当用户上传一个大的文件到HDFS上时，该文件会被切分成若干个block，分别存储到不同的DataNode；同时，为了保证数据可靠，会将同一个block以流水线方式写到若干个（默认是3，该参数可配置）不同的DataNode上。这种文件切割后存储的过程是对用户透明的。

 

(2) YARN架构概述

    YARN主要由ResourceManager、 NodeManager、ApplicationMaster 和 Container组成

    ① ResourceManager（RM） ：负责整个集群的资源管理和调度

    主要处理客户端请求，启动/监控ApplicationMaster，监控NodeManager，资源分配与调度。

    ② ApplicationMaster（AM）：负责应用程序相关事务，比如任务调度、任务监控和容错等。

    数据切分，为应用程序申请资源，并分配给内部执行，任务监控与容错。

   ③  NodeManager（NM）：管理一个YARN集群中的每个节点。

    每个节点的资源管理，处理来自ResourceManager的命令，处理来自ApplicationMaster的命令。

   ④  Container：YARN中的资源抽象，它封装了某个节点上的多维度资源，如内存，CPU，磁盘，网络等。

    对运行环境的抽象，封装了CPU，内存等多维资源以及环境变量，启动命令等任务运行的相关信息。

 

(3) MapReduce架构概述

MapReduce将计算过程分为两个阶段：Map和Reduce

    ① Map阶段并行处理输入数据

    ② Reduce阶段对Map结果进行汇总