HDFS集群滚动升级和降级回滚

目录

一、HDFS 集群滚动升级

1.1 介绍

1.2 不停机滚动升级

1.2.1 非联邦 HA 集群

1.2.1.1 滚动升级准备 

1.2.1.2 升级 Active NN 和 Standbys NN 

1.2.1.3 升级 DN 

1.2.1.4 完成滚动升级 

1.2.2 联邦 HA 集群 

1.3 停机升级 

1.3.1 非 HA 集群 

二、HDFS 集群降级和回滚 

2.1 降级（downgrade）和回滚（rollback）区别  

2.2 HA 集群降级（downgrade） 

2.2.1 降级 DataNode

2.2.2 降级 Active NameNode 和 Standby NameNode 

2.2.3 降级操作的确认 

2.2.4 HA 集群降级（downgrade）注意事项 

2.3 集群回滚（rollback）操作 

---

 

一、HDFS 集群滚动升级

1.1 介绍

        在 Hadoop v2 中，HDFS 支持 NameNode 高可用（HA）。使得不停机升级 HDFS 变得可行。请注意，仅从 Hadoop-2.4.0 起才支持滚动升级。因此为了在不停机的情况下升级 HDFS 群集，必须使用 HA 设置群集。

        在 HA 群集中，有两个或多个 NameNode（NN），许多 DataNode（DN），一些JournalNode（JN）和一些 ZooKeeperNode（ZKN）。JN 相对稳定，在大多数情况下，升级 HDFS 时不需要升级。

        滚动升级过程中，仅针对 NNs 和 DNs，JNS 和 ZKNs 都没有。升级 JN 和 ZKN 可能会导致群集停机。

1.2 不停机滚动升级

1.2.1 非联邦 HA 集群

假设有两个名称节点 NN1 和 NN2，其中 NN1 和 NN2 分别处于 Active 和 StandBy 状态。 

1.2.1.1 滚动升级准备 

# 创建一个新的 fsimage 文件用于回滚
hdfs dfsadmin -rollingUpgrade prepare

# 不断运行下面命令检查回滚 fsimage 是否创建完毕。
# 如果显示 Proceeding with Rolling Upgrade 表示已经完成。
hdfs dfsadmin -rollingUpgrade query

1.2.1.2 升级 Active NN 和 Standbys NN 

# 关闭 NN2：
hdfs --daemon stop namenode
# 升级启动 NN2:
hdfs --daemon start namenode -rollingUpgrade started

# 做一次 failover 切换,使得 NN2 成为 Active 节点，NN1 变为 Standby 节点。
# 关闭 NN1:  
hdfs --daemon stop namenode
# 升级启动 NN1：
hdfs --daemon start namenode -rollingUpgrade started

1.2.1.3 升级 DN 

# 选择整体中的一小部分 DataNode 节点进行升级(比如按照DataNode所在的不同机架来筛选)。
# 关闭升级所选的 DN 其中 IPC_PORT 由参数 dfs.datanode.ipc.address 指定，默认 9867。
hdfs dfsadmin -shutdownDatanode  upgrade

# 检查下线 DataNode 是否已经停止服务，如果还能得到节点信息，意味着此节点还未真正被关闭。
hdfs dfsadmin -getDatanodeInfo 

# 启动 DN 节点。
hdfs --daemon start datanode

# 对选中的所有 DN 节点执行以上步骤。重复上述步骤，直到升级群集中的所有 DN 节点。

1.2.1.4 完成滚动升级 

# 完成滚动升级
hdfs dfsadmin -rollingUpgrade finalize

1.2.2 联邦 HA 集群 

        联邦集群（federation）是拥有多 namespace 的集群。每个 namespace 对应一对主备 NameNode 节点。上述这套集群就是俗称的联邦+HA集群。

        联邦集群的升级过程与非联邦集群的升级过程比较相似，没有什么本质区别，只是需要为不同的 namespace 多重复执行几遍升级操作而已。

#1、在每个 namespace 下执行升级准备
hdfs dfsadmin -rollingUpgrade prepare

#2、升级每个 namespace 下的 Active/Standby 节点
#2.1、关闭 NN2：
hdfs --daemon stop namenode
#2.2、升级启动 NN2:
hdfs --daemon start namenode -rollingUpgrade started
#2.3、做一次 failover 切换，使得 NN2 成为 Active节点，NN1 变为 Standby 节点。
#2.4、关闭 NN1:
hdfs --daemon stop namenode
#2.5、升级启动 NN1：
hdfs --daemon start namenode -rollingUpgrade started

#3、升级每个 DataNode 节点
#3.1、关闭升级所选的 DN 其中 IPC_PORT 由参数 dfs.datanode.ipc.address 指定，默认9867。    
hdfs dfsadmin -shutdownDatanode  upgrade
#3.2、检查下线 DataNode 是否已经停止服务。如果还能得到节点信息，意味着此节点还未真正被关闭
hdfs dfsadmin -getDatanodeInfo 
#3.3、启动 DN 节点。
hdfs --daemon start datanode

#4、升级过程执行完毕，在每个 namespace 下执行 finalize 确认命令
hdfs dfsadmin -rollingUpgrade finalize

1.3 停机升级 

1.3.1 非 HA 集群 

        在升级的过程中，势必会存在服务短暂停止的时间，因为 NameNode 需要重启，而这段时间并没有备用节点可选。整体过程同非联邦 HA 模式的 4 个步骤类似。不过步骤二的过程要略微修改：

#Step1:滚动升级准备

#Step2:升级 NN 和 SNN
#1、关闭 NN    
hdfs --daemon stop namenode  
#2、升级启动 NN    
hdfs --daemon start namenode -rollingUpgrade started
#3、停止 SNN    
hdfs --daemon stop secondarynamenode  
#4、升级启动SNN    
hdfs --daemon start secondarynamenode -rollingUpgrade started

#Step3:升级 DN

#Step4:完成滚动升级
hdfs dfsadmin -rollingUpgrade finalize

二、HDFS 集群降级和回滚 

2.1 降级（downgrade）和回滚（rollback）区别  

• 共同点:

都会将版本退回到升级前的版本；

在升级的 finalize 动作执行之后，将不允许再执行降级和回滚。

• 不同点:

降级能支持 rollling 的方式，可以滚动降级，而回滚需要停止服务一段时间；

降级过程只会将软件版本还原成升级前的，会保留用户现有的数据状态；

而回滚则会将用户数据还原成升级前的状态模式，现有的数据状态不保存。  

友情提示：升级慎重，降级、回滚更要慎重。 

        生产环境中，集群升级之前必须进行科学调研，评估升级后的版本跟现有业务的兼容性。在测试环境下完整模拟升级流程，并且针对升级前集群状态进行备份，避免意外发生导致集群中断。不要奢求升级失败时，通过回滚、降级等操作挽救集群。

2.2 HA 集群降级（downgrade） 

        如果不希望使用升级版本，或者在某些不太可能的情况下，升级失败（由于较新版本中的错误），管理员可以选择将 HDFS 降级到升级前版本，或将 HDFS 回滚到升级前版本和升级前的状态。

请注意，降级可以滚动方式进行，但不能回滚。回滚要求集群停机。

        还请注意，只有在开始滚动升级之后且终止升级之前，才可以进行降级和回滚。可以通过完成，降级或回滚来终止升级。因此，可能无法在完成或降级之后执行回滚，或者在完成后无法执行降级。 

2.2.1 降级 DataNode

#1. 选中部分集合 DataNode 节点(可以按照机架进行区分)
# 执行降级操作，其中 IPC_PORT 由参数 dfs.datanode.ipc.address 指定，默认 9867。
hdfs dfsadmin -shutdownDatanode  upgrade  

# 执行命令检查节点是否完全停止    
hdfs dfsadmin -getDatanodeInfo   

# 在选中集合内的其他 DataNode 节点上重复执行上述操作

2.2.2 降级 Active NameNode 和 Standby NameNode 

# 停止并降级 Standby NameNode.
# 正常启动 Standby NameNode
# 触发 failover 切换，使得主备角色对调
# 停止并降级之前属于 Active（现属于 Standby 的 NameNode）
# 正常启动作为 Standby 节点

2.2.3 降级操作的确认 

# 完成降级操作
hdfs dfsadmin -rollingUpgrade finalize

2.2.4 HA 集群降级（downgrade）注意事项 

        降级与升级在 HA 模式下有一个共同点：在操作 NameNode 时，都是先从 Standby 节点开始操作，等 Standby 节点升/降结束，做一次切换，使另外一个节点得以进行升/降操作。在全程中，始终保持一个 Active 节点对外提供服务。

        降级过程 NameNode 与 DataNode 的操作和在升级时操作顺序正好相反：新版本一般在协议、API 是兼容老版本的，如果先降级 NN，那么则会造成 DN 是新版，NN 是旧版。新版 DN 中的许多协议将会在旧版 NN 中可能不兼容。所以这里必须要先降级 DN，然后再把服务端 NN 进行降级。看似简单的一次顺序颠倒，背后其实是有更深层的原因的。

联邦集群和非 HA 集群的降级操作与升级操作相对应，进行相应操作命令的替换即可。

2.3 集群回滚（rollback）操作 

回滚注意事项：Rollback 不支持滚动操作的方式，在操作期间，它需要集群对外停止提供服务。

Rollback 操作不仅会将软件版本退回到升级前的版本，还会将用户数据退回到升级前的状态。

回滚步骤：

#1.停止所有的 NameNode 和 DataNode 节点
#2.在所有的节点机器上恢复升级前的软件版本
#3.在 NN1 节点上执行 -rollingUpgrade rollback 命令来启动 NN1，将 NN1 作为 Active 节点
#4.在 NN2 上执行 -bootstrapStandby 命令并正常启动 NN2，将 NN2 作为 Standby 节点
#5.以 -rollback 参数启动所有的 DataNode

上一篇文章：HDFS HA 高可用集群搭建详细图文教程_Stars.Sky的博客-CSDN博客