通俗易懂了解Hadoop

从本书第5、6、7、8章,学习云计算开发相关知识

通俗易懂了解Hadoop_第1张图片

这是第五章

文章目录

    • Hadoop:主流开源云架构
      • 什么是分布式?
      • Hadoop体系架构
        • Common——制片人
        • HDFS——编剧
        • MapReduce——导演
        • Yarn——后勤

Hadoop:主流开源云架构

什么是分布式?

书中模拟了一个场景,提出了四个划时代的问题。

场景:我们现在有一些完全相同的计算机C1~Cn,每台计算机可以存5GB内容。另有两个均为2GB的文件f0和f1。

Q1:将f0和f1分别存入不同计算机,但对外显示存储在同一块硬盘;

Q2:另有一个6GB的文件f2,将它存入计算机,但对外显示为一个完整文件;

Q3:在Q1的前提下,统计f0和f1每个单词的出现次数(以下简称词频);

Q4:如果某个机器宕机,如何保证数据不丢失。

这四个问题,如果我们按照常规思路,似乎都是很难解决的。哎不对,Q3可以哦,只需要把f0复制到存储f1的计算机上,把它们放在一起统计即可,这确实没错。但如果是100个文件,每个文件1TB,就是复制文件这一步,我们都很难做到。这四个问题似乎没有了解决方法~

通俗易懂了解Hadoop_第2张图片

在这种情况下,分布式应运而生,下面是分布式思想来解决问题:

A1、A2:从这些相同的计算机中取出一台作为管理者,记为Master;其他计算机作为被管理者,记为Slave1~Slave(n-1)。Master中仅存储所有Slave机器的地址(也叫元数据),而不存储真实数据;所有Slave存储真实数据。这样设计,如果后期存储或计算需求增大,我们只需要在Master中再加入几个对应其他机器的地址映射,构建更庞大的集群,就可以完成需要。

通俗易懂了解Hadoop_第3张图片

如图,整个集群就像是一台机器Master、一片云。对外显示为一个硬盘空间,Q1、Q2解决。

A3:针对计算问题,Google提出“移动计算比移动数据更划算”,想想也是,数据动辄几个TB,代码一般就几个MB。基于此,我们假设f0存储在Slave0,f1存储在Slave1,先让两个文件在它们自己所在的机器中计算词频,将得到的结果在另一台机器中将同一个词的词频求和,就得到了这个词在两个文件中的词频,Q3解决(具体实现方法见MapReduce)。

A4:要想数据不丢失,唯一的办法就是备份。我们再取两台机器,记为Slave2和Slave3,Slave2存储文件f0,Slave3存储文件f1,将它们也归于Master管理。当Master启动计算时,四台机器同时工作,因为Slave0和Slave2的作用相同,当其中一台完成计算任务提交给Master,Master立即停止另一台的计算,使用前者提交的结果即可。

这样的话,我们岂不是白白浪费了很多资源?

确实是这样,但在绝大多数情况下,冗余存储和计算是必要的,因为数据丢失是不可逆过程,一旦出现,对企业甚至国家造成的影响太大了。

Hadoop体系架构

下面介绍它的四个组成成分:

Hadoop公共组件 -> Common

分布式文件系统 -> HDFS

分布式计算框架 -> MapReduce

分布式操作系统 -> Yarn

Common——制片人

通俗易懂了解Hadoop_第4张图片

可以说,没有Common,就没有这部“电影”。Common的定位是其他模块的公共组件,为其他模块提供公用API,观众看不到他,而他,一直在后台为剧组人员默默付出~

Common通过设计方式,降低了Hadoop设计的复杂性,减少了其他模块之间的耦合性,大大增强了Hadoop的健壮性。

HDFS——编剧

电影开拍前,HDFS会将所有的文件妥善存储,作为”剧本“,方便导演后期导戏。

通俗易懂了解Hadoop_第5张图片

首先引入两个实体:namenode和datanode,Master运行主进程namenode,所有Slave运行从属进程datanode。namenode只存储元数据信息:文件块位置、大小、拥有者信息;datanode以块(block)为单位存储实际数据,这里的块通常为128MB,要存入的文件被切分成块,存入不同的datanode中。

当客户端(Client)要访问一个文件,先“拜访”namenode,问问数据在哪个datanode中?然后直接去相应的datanode读取数据。(不再需要namenode引荐)

事务日志(EditLog)记录HDFS元数据的变化,存储在namenode本地文件系统中。

MapReduce——导演

有了编剧的剧本,导演就可以用它开始工作了,MapReduce需要非常大的计算资源来最终完成这部电影。

承接引例中的回答A3,下面说说MapReduce的详细过程(以统计词频为例)

假设文件f0和f1的内容分别为:

Baidu Tencent Huawei Huawei

Alibaba Tencent Huawei

引入“键值对”概念,即,key表示单词,value为其出现次数。所以在单机中计算结果分别为:

通过shuffle(洗牌)操作,将相同key的键值对放入同一台机器(这里需要4台),然后将value相加,此时得到的结果为:

这个即为最终结果,将其存入分布式文件系统即可,下面附图详细过程:

MapReduce说白了就是Map和Reduce两个很简单的过程,别看它原理很简单,但应用范围非常广。

通俗易懂了解Hadoop_第6张图片

Yarn——后勤

正如后勤人员一样,Yarn管理着计算机资源并进行统一调配,同时提供用户程序访问系统资源的应用程序接口(API)。

Yarn在执行时包含以下实体:

  1. Client:客户端,负责向集群提交作业;
  2. ResourceManager:集群的主进程,负责资源管理和任务调度;
  3. NodeManager:集群的从进程,管理和监视Containers,执行具体任务;
  4. Container:资源的独立单位;
  5. Scheduler:资源仲裁模块;
  6. ApplicationManager:选定,启动和监管ApplicationManager;
  7. ApplicationMaster:任务执行和监管中心。

工作过程如图:

通俗易懂了解Hadoop_第7张图片

你可能感兴趣的:(专业书籍,#,大数据,hadoop,大数据,分布式)