Hadoop2x的体系架构

（一）存储海量数据的HDFS

HDFS的体系架构

     1.NameNode和DataNode

            NameNode:

             （a）负责接受客户端的请求

             （b）负责元信息的维护

             （c）HDFS的管理员

            DataNode：

              （a）保存数据

               （b）block数据块：hadoop 1.x的block是64M；hadoop 2.x是128M。

        2.上传和下载过程

               上传：

HDFS上传过程示例

                       下载：

HDFS下载过程示例

                   3.SecondaryNameNode:负责元信息的合并

                           （a）FSImage文件:元信息在硬盘上的景象

                           （b）Edits文件：HDFS日志文件，有元信息的最新操作日志。

                           （c）合并过程：合并FSImage文件+Edits文件，形成最新的FSImage文件

合并过程示例

海量数据的计算模型MapReduce(Yarn)

Yarn运行过程示例

HBase

   体系结构

HBase的体系结构

表结构

    体系结构的region=列族

表结构