大数据技术之Hadoop入门（第二篇）

大数据技术之Hadoop入门（第二篇）

继续上篇文章Hadoop入门
今天来简单的说一下HDFS中的SecondaryNameNode 副节点 和持久化
在上篇文章中说过了Secondary NameNode(Snn 后面都写作SNN)：用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照
一、SNN
SNN的主要工作

• （1）Secondary NameNode询问NameNode是否需要checkpoint。
  直接带回NameNode是否检查结果。
• （2）Secondary NameNode请求执行checkpoint。
• （3）NameNode滚动正在写的edits日志。
• （4）将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode。
• （5）Secondary NameNode加载编辑日志和镜像文件到内存，并合并。
• （6）生成新的镜像文件fsimage.chkpoint。
• （7）拷贝fsimage.chkpoint到NameNode。
• （8）NameNode将fsimage.chkpoint重新命名成fsimage。
  二、持久化
  了解到SNN的主要工作之后呢，我们就说一下SNN它和NN也就是Namenode的工作机制。
  SNN和NN的工作机制图
  
  在NN掌握一批元数据，（元数据就是描述数据的数据） —存放在内存里
• 硬盘 内存大 便宜但是慢
• 内存 内存小 贵，但是快

2.1持久化是什么呢？

持久化：为了保证元数据的安全----将内存中的数据存放到磁盘中

在当我们的集群因断电等特殊原因产生问题的时候，问题解决，重新开机，会去磁盘上读取元数据，恢复到断电前的状态。
那么为什么说NN不能进行持久化呢？
其实我们即可以说NN可以做持久化，也可以说不可以做持久化。那么到底什么时候可以做持久化什么时候不可以做持久化呢？

• NN可以做持久化：需求小，占用内存小，不影响计算效率
• NN不可以做持久化：是因为NN本身工作已经很多，有可能在持久化的过程中宕机
• 备注：SNN永远无法取代NN的位置，他只是NN的一个热备。
  （热备：工作依旧可以进行，但还是能备份）

2.2Edits和Fsimage

• Fsimage：namenode内存中元数据序列化后形成的文件。
• Edits：记录客户端更新元数据信息的每一步操作（可通过Edits运算出元数据）。

为了方便了解画了一个图

namenode启动时，先滚动edits并生成一个空的edits，然后加载edits和fsimage到内存中，此时namenode内存就持有最新的元数据信息。client开始对namenode发送元数据的增删改查的请求，这些请求的操作首先会被记录的edits中（查询元数据的操作不会被记录在edits中，因为查询操作不会更改元数据信息），如果此时namenode挂掉，重启后会从edits中读取元数据的信息。然后，namenode会在内存中执行元数据的增删改查的操作。
由于edits中记录的操作会越来越多，edits文件会越来越大，导致namenode在启动加载edits时会很慢，所以需要对edits和fsimage进行合并（所谓合并，就是将edits和fsimage加载到内存中，照着edits中的操作一步步执行，最终形成新的fsimage）。secondarynamenode的作用就是帮助namenode进行edits和fsimage的合并工作。
secondarynamenode首先会询问namenode是否需要checkpoint（触发checkpoint需要满足两个条件中的任意一个，定时时间到和edits中数据写满了）。

持久化的触发条件： 超过3600或者edits（edits.log）的大小超过64M

直接带回namenode是否检查结果。secondarynamenode执行checkpoint操作，首先会让namenode滚动edits并生成一个空的edits，滚动edits的目的是给edits打个标记，以后所有新的操作都写入edits，其他未合并的edits和fsimage会拷贝到secondarynamenode的本地，然后将拷贝的edits和fsimage加载到内存中进行合并，生成fsimage.chkpoint，然后将fsimage.chkpoint拷贝给namenode，重命名为fsimage后替换掉原来的fsimage。namenode在启动时就只需要加载之前未合并的edits和fsimage即可，因为合并过的edits中的元数据信息已经被记录在fsimage中。

总结：持久化就是将NN的元数据写入到磁盘中进行存储，当NN挂了之后重启得时候会去磁盘读取相应的元数据，恢复集群的状态-------（内存断电丢失）

• 发生断电
  持久化之前 ------再次启动，读取系统日志
  持久化之后 -------读取磁盘中的数据，恢复状态
• 发生重复的断电
  NN和DN之间有一种通信机制叫做心跳机制------每个3秒，DN会向NN发送一次心跳，1min没有心跳，则认为DN挂掉。
  那么重复的断电会进入安全模式：
  1. 恢复系统状态
  2. 检查DN的信息
  3. 对有问题的DN进行修复
     1） 在传输的过程中断电—数据丢失，如果数据特别重要，那只能提前进行预判，进行相应的调整。
     2）传输完成之后断电
     当我的集群重新恢复之后，NN会去读取元数据，对状态进行相应的恢复
     3）若DN出现问题。在DN恢复之后，如果新的任务，根据情况，确定是否将新的文件上传