从Hadoop框架浅谈大数据生态

一.大数据概述

1.大数据概念

    大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

    主要解决海量数据的存储和海量数据的分析计算问题。

    按顺序的数据存储单位:bitByte、KB、MB、GB、TB、PB、EB、ZB、YBDBNB。

 

2.大数据的特点

    Volume(海量性)

    截至目前,人类生产的所有印刷材料的数据量是200PB(1PB=210TB),而历史上全人类说过的所有的话的数据量大约是5EB(1EB=210PB)。当前,典型个人计算机硬盘的容量为TB量级,而一些大企业的数据量已经接近EB量级。

    Velocity(高速性)

    这是大数据区分于传统数据挖掘的最显著特征。根据IDC的“数字宇宙”的报告,预计到2020年,全球数据使用量将达到35.2ZB。在如此海量的数据面前,处理数据的效率就是企业的生命。

    Variety(多样性)

    这种类型的多样性也让数据被分为结构化数据和非结构化数据。相对于以往便于存储的以文本为主的结构化数据,非结构化数据越来越多,包括网络日志、音频、视频、图片、地理位置信息等,这些多类型的数据对数据的处理能力提出了更高要求。

    values(价值密度低)

    价值密度的高低与数据总量的大小成反比。以视频为例,一部1小时的视频,在连续不间断的监控中,有用数据可能仅有一二秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”成为目前大数据背景下亟待解决的难题。 

 

3.大数据的用途

    第一,对大数据的处理分析正成为新一代信息技术融合应用的结点。移动互联网、物联网、社交网络、数字家庭、电子商务等是新一代信息技术的应用形态,这些应用不断产生大数据。云计算为这些海量、多样化的大数据提供存储和运算平台。通过对不同来源数据的管理、处理、分析与优化,将结果反馈到上述应用中,将创造出巨大的经济和社会价值。

    第二,大数据是信息产业持续高速增长的新引擎。面向大数据市场的新技术、新产品、新服务、新业态会不断涌现。在硬件与集成设备领域,大数据将对芯片、存储产业产生重要影响,还将催生一体化数据存储处理服务器、内存计算等市场。在软件与服务领域,大数据将引发数据快速处理分析、数据挖掘技术和软件产品的发展。

    第三,大数据利用将成为提高核心竞争力的关键因素。各行各业的决策正在从“业务驱动” 转变“数据驱动”。

    对大数据的分析可以使零售商实时掌握市场动态并迅速做出应对;可以为商家制定更加精准有效的营销策略提供决策支持;可以帮助企业为消费者提供更加及时和个性化的服务;在医疗领域,可提高诊断准确性和药物有效性;在公共事业领域,大数据也开始发挥促进经济发展、维护社会稳定等方面的重要作用。

    第四,大数据时代科学研究的方法手段将发生重大改变。例如,抽样调查是社会科学的基本研究方法。在大数据时代,可通过实时监测、跟踪研究对象在互联网上产生的海量行为数据,进行挖掘分析,揭示出规律性的东西,提出研究结论和对策

 

二. 从Hadoop框架讨论大数据生态

1. Hadoop是什么

    Hadoop: 适合大数据的分布式存储和计算平台

    Hadoop不是指具体一个框架或者组件,它是Apache软件基金会下用Java语言开发的一个开源分布式计算平台。实现在大量计算机组成的集群中对海量数据进行分布式计算。适合大数据的分布式存储和计算平台。

 

2.Hadoop的起源和发展历史

    2003-2004年,Google公布了部分GFS和MapReduce思想的细节,受此启发的Doug Cutting等人用2年的业余时间实现了DFS和MapReduce机制,使Nutch性能飙升。然后Yahoo招安Doug Gutting及其项目。

    2005年,Hadoop作为Lucene的子项目Nutch的一部分正式引入Apache基金会。

    2006年2月被分离出来,成为一套完整独立的软件,起名为Hadoop

    Hadoop名字不是一个缩写,而是一个生造出来的词。是Hadoop之父Doug Cutting儿子毛绒玩具象命名的。

    Hadoop的成长过程

    Lucene–>Nutch—>Hadoop

 

    总结起来,Hadoop起源于Google的三大论文

        GFS:Google的分布式文件系统Google File System

        MapReduce:Google的MapReduce开源分布式并行计算框架

        BigTable:一个大型的分布式数据库

 

    演变关系

        GFS—->HDFS

        Google MapReduce—->Hadoop MapReduce

        BigTable—->HBase

 

3.Hadoop三大发行版本

    Hadoop三大发行版本:Apache、Cloudera、Hortonworks。

    Apache版本最原始(最基础)的版本,对于入门学习最好。

    Cloudera在大型互联网企业中用的较多。

    Hortonworks文档较好。

 

(1) Apache Hadoop

    官网地址:http://hadoop.apache.org/releases.html

    下载地址:https://archive.apache.org/dist/hadoop/common/

 

(2) Cloudera Hadoop

    官网地址:https://www.cloudera.com/downloads/cdh/5-10-0.html

    下载地址:http://archive-primary.cloudera.com/cdh5/cdh/5/

    ① 2008年成立的Cloudera是最早将Hadoop商用的公司,为合作伙伴提供Hadoop的商用解决方案,主要是包括支持、咨询服务、培训。

    ② 2009年Hadoop的创始人Doug Cutting也加盟Cloudera公司。Cloudera产品主要为CDH,Cloudera Manager,Cloudera Support

    ③ CDH是Cloudera的Hadoop发行版,完全开源,比Apache Hadoop在兼容性,安全性,稳定性上有所增强。

    ④ Cloudera Manager是集群的软件分发及管理监控平台,可以在几个小时内部署好一个Hadoop集群,并对集群的节点及服务进行实时监控。Cloudera Support即是对Hadoop的技术支持。

    ⑤ Cloudera的标价为每年每个节点4000美元。Cloudera开发并贡献了可实时处理大数据的Impala项目。

 

(3) Hortonworks Hadoop

    官网地址:https://hortonworks.com/products/data-center/hdp/

    下载地址:https://hortonworks.com/downloads/#data-platform

    ① 2011年成立的Hortonworks是雅虎与硅谷风投公司Benchmark Capital合资组建。

    ② 公司成立之初就吸纳了大约25名至30名专门研究Hadoop的雅虎工程师,上述工程师均在2005年开始协助雅虎开发Hadoop,贡献了Hadoop80%的代码。

    ③ 雅虎工程副总裁、雅虎Hadoop开发团队负责人Eric Baldeschwieler出任Hortonworks的首席执行官。

    ④ Hortonworks的主打产品是Hortonworks Data Platform(HDP),也同样是100%开源的产品,HDP除常见的项目外还包括了Ambari,一款开源的安装和管理系统。

    ⑤ HCatalog,一个元数据管理系统,HCatalog现已集成到Facebook开源的Hive中。Hortonworks的Stinger开创性的极大的优化了Hive项目。Hortonworks为入门提供了一个非常好的,易于使用的沙盒。

    ⑥ Hortonworks开发了很多增强特性并提交至核心主干,这使得Apache Hadoop能够在包括Window Server和Windows Azure在内的microsoft Windows平台上本地运行。定价以集群为基础,每10个节点每年为12500美元。

 

4.Hadoop的优势

     高可靠性:Hadoop底层维护多个数据副本,所以即使Hadoop某个计算元素或存储出现故障,也不会导致数据的丢失。

     高扩展性:在集群间分配任务数据,可方便的扩展数以千计的节点。

     高效性:在MapReduce的思想下,Hadoop是并行工作的,以加快任务处理速度。

     高容错性:能够自动将失败的任务重新分配。

 

5.Hadoop组成

    当前Hadoop有两个版本:Hadoop 1.0和Hadoop 2.0。Hadoop 1.0由一个分布式文件系统HDFS和一个离线计算框架MapReduce组成。Hadoop 2.0由一个支持NameNode横向扩展的HDFS,一个资源管理系统YARN和一个运行在YARN上的离线计算框架MapReduce。相比于Hadoop 1.0,Hadoop 2.0功能更加强大,且具有更好的扩展性、性能,并支持多种计算框架。

    下面以Hadoop 2.0为例,对Hadoop的组成架构做下简单介绍:

(1) HDFS架构概述

    HDFS总体上采用了master/slave架构,主要由以下几个组件组成:Client、NameNode、Secondary、NameNode和DataNode。

    ① Client

    Client(代表用户)通过与NameNode和DataNode交互访问HDFS中的文件。Client提供了一个类似POSIX的文件系统接口供用户调用。

    ② NameNode

    整个Hadoop集群中只有一个NameNode。它是整个系统的“总管”,负责管理HDFS的目录树和相关的文件元数据信息。这些信息是以“fsimage”(HDFS元数据镜像文件)和 “editlog”(HDFS文件改动日志)两个文件形式存放在本地磁盘,当HDFS重启时重新构造出来的。此外,NameNode还负责监控各个DataNode的健康状态,一旦发现某个DataNode宕掉,则将该DataNode移出HDFS并重新备份其上面的数据。

    ③ Secondary NameNode

    Secondary NameNode最重要的任务并不是为NameNode元数据进行热备份,而是定期合并fsimage和edits日志,并传输给NameNode。这里需要注意的是,为了减小NameNode压力,NameNode自己并不会合并fsimage和edits,并将文件存储到磁盘上,而是交由Secondary NameNode完成。

    ④ DataNode

    一般而言,每个Slave节点上安装一个DataNode,它负责实际的数据存储,并将数据信息定期汇报给NameNode。DataNode以固定大小的block为基本单位组织文件内容,默认情况下block大小为64MB。当用户上传一个大的文件到HDFS上时,该文件会被切分成若干个block,分别存储到不同的DataNode;同时,为了保证数据可靠,会将同一个block以流水线方式写到若干个(默认是3,该参数可配置)不同的DataNode上。这种文件切割后存储的过程是对用户透明的。

 

(2) YARN架构概述

    YARN主要由ResourceManager、 NodeManager、ApplicationMaster 和 Container组成

    ① ResourceManager(RM) :负责整个集群的资源管理和调度

    主要处理客户端请求,启动/监控ApplicationMaster,监控NodeManager,资源分配与调度。

    ② ApplicationMaster(AM):负责应用程序相关事务,比如任务调度、任务监控和容错等。

    数据切分,为应用程序申请资源,并分配给内部执行,任务监控与容错。

   ③  NodeManager(NM):管理一个YARN集群中的每个节点。

    每个节点的资源管理,处理来自ResourceManager的命令,处理来自ApplicationMaster的命令。

   ④  Container:YARN中的资源抽象,它封装了某个节点上的多维度资源,如内存,CPU,磁盘,网络等。

    对运行环境的抽象,封装了CPU,内存等多维资源以及环境变量,启动命令等任务运行的相关信息。

 

(3) MapReduce架构概述

MapReduce将计算过程分为两个阶段:Map和Reduce

    ① Map阶段并行处理输入数据

    ② Reduce阶段对Map结果进行汇总     

你可能感兴趣的:(#,Hadoop)