hadoop概念及框架介绍

一.Hadoop简介

1.Hadoop简介
1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。
Hadoop是开源的高可靠、可扩展的分布式的软件框架。
2）Hadoop组成
（1）MapReduce------计算
（2）Yarn------------------资源调度
（3）HDFS---------------数据存储
（4）Common-----------辅助工具


HDFS架构
1）NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间，副本数，文件权限），以及每个文件的块列表和块所在的DataNode等。
2）DataNode（dn）：在本地文件系统存储文件块数据，以及块数据的校验
3）Secondary NameNode（2nn）：用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照
Yarn架构
1）ResourceManager（RM） 处理客户端请求
监控NodeManager 启动或监控
ApplicationMaster 资源分配与调度
2）NodeManager（NM） 管理单个节点上的资源 处理来自ResourceManager的命令 处理来自ApplicationMaster的命令
3）ApplicationMaster（AM） 负责数据切分 为应用程序申请资源并分配给内部任务 任务的监控与容错
4）Container Yarn中的资源抽象，封装了某个节点上的多维度资源，如内存，CPU，磁盘，网络等
MapReduce架构
1）Map 阶段并行处理输入数据
2）Reduce 阶段对Map结果进行汇总

3）Hadoop的框架最核心的设计就是：HDFS和MapReduce。
HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。