Hadoop三大核心(HDFS,YARN,MapReduce)

Hadoop三大核心

1.HDFS

HDFS是分布式文件系统，有高容错性的特点，可以部署在价格低廉的服务器上，主要包含namenode和datanode。

Namenode是hdfs中文件目录和文件分配管理者，它保存着文件名和数据块的映射管理，数据块和datanode列表的映射关系。

其中文件名和数据块的关系保存在磁盘上，但是namenode上不保存数据块和datanode列表的关系，该列表是通过datanode上报建立起来的。

Namenode上的有三种交互

1、client访问namenode获取的相关datanode的信息。
2、datanode心跳汇报当前block的情况。
3、secondarynamenode做checkpoint交互。

DataNode它负责实际的数据存储，并将数据息定期汇报给NameNode。
DataNode以固定大小的block为基本单位组织文件内容，默认情况下block大小为128MB。

当用户上传一个大的文件到HDFS上时，该文件会被切分成若干个block，分别存储到不同的DataNode；同时，为了保证数据可靠，会将同一个block以流水线方式写到若干个（默认是3，该参数可配置）不同的DataNode上。

这种文件切割后存储的过程是对用户透明的。

SecondaryNameNode，用来辅助namenode进行元数据的合并，并且传回到namenode。
HDFS的特点
优点 :

（一）高可靠性：Hadoop按位存储和处理数据的能力值得人们信赖。
（二）高扩展性：Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。
（三）高效性：Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。
（四）高容错性：Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。

缺点 :

（一）不适合低延迟数据访问。
（二）无法高效存储大量小文件。
（三）不支持多用户写入及任意修改文件

2.YARN

1.）主要由：ResourceManager，nodeManager，ApplicationMaster，Container组成

1.1. ResourceManager(RM)：
主要接收客户端任务请求，接收和监控NodeManager(NM)的资源情况汇报，负责资源的分配与调度，启动和监控ApplicationMaster(AM)，一个集群只有一个。

作用：
		1).处理客户端请求
		2).启动或监控ApplicationMaster
		3).监控NodeManager
		4).资源的分配与调度

1.2.NodeManager（NM）：
主要是节点上的资源管理，启动Container运行task计算，上报资源、container情况给RM和任务处理情况给AM，整个集群有多个。

作用：
		1).管理单个节点上的资源
		2).处理来自RM的命令
		3).处理来自AM的命令

1.3.ApplicationMaster（AM）：
主要是单个Application(Job)的task管理和调度，向RM进行资源的申请，向NM发出launch Container指令，接收NM的task处理状态信息。每个应用有一个。

作用：
		1).负责数据的切分
		2).为程序申请资源并分配给内部的任务
		3).任务的监视与容错

1.4.Container：
是YARN中资源的抽象，它封装了某个节点上一定量的资源（CPU和内存两类资源）。
当AM向RM申请资源时，RM为AM返回的资源便是Container表示的。
YARN会为每个任务分配一个Container，且该任务只能使用Container中描述的资源。

作用：
		对任务运行环境进行抽象
		封装CPU，内存等多维度资源以及环境变量，启动命令等任务运行的相关信息

3.MapReduce

MapReduce是hadoop的一种离线计算框架，适合离线批处理，具有很好的容错性和扩展性，适合简单的批处理任务。

缺点：启动开销大，任务多使用磁盘效率比较低。

一个MapReduce作业通常会把输入的数据集切分为若干独立的数据块，由map任务（task）以完全并行的方式处理它们。框架会对map的输出先进行排序，然后把结果输入给reduce任务。通常作业的输入和输出都会被存储在文件系统中。整个框架负责任务的调度和监控，以及重新执行已经失败的任务。

通常，MapReduce框架和分布式文件系统是运行在一组相同的节点上的，计算节点和存储节点通常在一起。这种配置允许框架在那些已经存好数据的节点上高效地调度任务，这可以使整个集群的网络带宽被非常高效地利用。

一个MapReduce任务包含一般会这几个部分：Map、Shuffle（Sort、Partitioner、Combiner、Merge、Sort）、Reduce