Hadoop-HDFS角色工作机制

一、角色职责介绍

  Hadoop Distributed File System (HDFS,分布式文件系统) :HDFS 是 Hadoop 应用程序使用分布式存储，HDFS 集群主要由管理文件系统元数据的 NameNode 和存储实际数据的 DataNode 组成。

 1、NameNode【主角色】职责特征：

• NameNode仅存储HDFS的元数据，文件系统中的所有文件的目录树，并跟踪整个集群中的文件，不存储实际数据；
• NameNode是Hadoop集群中的单点故障；
• NameNode是访问HDFS的唯一入口；
• NameNode不持久化存储每个文件中各个block的位置信息，这些信息会在系统启动时从DataNode重建；
• NameNode所在的机器通常有大量内存（RAM）；

 2、DataNode【从角色】职责特征：

• DataNode 负责最终数据块block的存储；
• DataNode 启动时会将自己注册到NameNode，主动向NameNode汇报自己负责持有的block信息；
• DataNode 某DataNode关闭不会影响数据的可用性，NameNode将安排由其他DataNode管理的block进行副本复制；
• DataNode 所在的机器通常有大量硬盘空间；

 3、Secondary NameNode【主角色辅助角色】职责特征：

• Secondary NameNode 充当NameNode的辅助节点，但是不能替代NameNode；
• Secondary NameNode 主要是帮助主角色进行元数据文件的合并动作；

二、角色工作机制流程

   1、核心概念：
  （1）默认三副本存储策略【Hadoop3.x】：
     - 第一块副本：若clien在机器群节点上，优先存储在客户端本地【绿色】，否则随机【蓝色】；
     - 第二块副本：存储在不同于第一块副本的机架中；
     - 第三块副本：第二块副本相同的机架的不同机器中；
   a、官方描述：
     https://hadoop.apache.org/docs/r3.0.0/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#Data_Replication
   b、注意事项：Hadoop3.x与Hadoop2.x在三副本存储策略上有稍微的不同

   c、三副本存储策略的优缺点

    一个简单但非最佳的策略是将副本放置在唯一的机架上，这可以防止在整个机架发生故障时丢失数据，并允许在读取数据时使用来自多个机架的带宽。此策略在集群中均匀分布副本，这使得在组件故障时平衡负载变得容易。但是，此策略增加了写入的成本，因为一次写入需要将块传输到多个机架。

  （2）Pipeline管道：
    数据以管道的方式，按照顺序沿着一个方向传输，这样能够充分利用每个机器的带宽，避免网络瓶颈和高延迟的连接，最小化推送所有数据的延时。

   2、工作流程：

   （1）HDFS客户端会创建对象实例DitribureFileSystem，该对象中封装了与HDFS文件系统操作的相关方法；
   （2）上传过程即调用了DitribureFileSystem的create()方法，通过RPC请求NameNode创建文件，NameNode接收到请求后不会立刻去建立文件，而是通过一系列的校验；
  例如：文件是否存在、父目录是否存在、该客户端是否具备创建权限等；
   （3）校验成功后，返回输出流对象（FSDataOutputStream）给客户端，用于写数据；
   （4）客户端通过返回的输出流开始写入数据，客户端写入数据时，将数据切分成为一个个数据包（packet 默认64k ），内部组件DataStream将数据包通过Pipeline传输到第一个DataNode上，DataNode依次传递至最后一个DataNode【三副本策略】；
   （5）当数据包通过Pipeline传输到DataNode上是会有ack机制进行校验是否传输成功；当数据从第一个Pipeline传输到第一个DataNode上是，即给客户端返回数据写入成功。受dfs.namenode.replication.min参数指定影响，参数默认值为1；
   （6）客户端数据写入成功后，输出流对象（FSDataOutputStream）调用close()方法关闭；