hadoop基础----hadoop实战(十四)-----hadoop管理工具---CDH移除主机

注意事项

在CDH的Hadoop集群中提供有主机解除授权和将节点移除集群的操作

正常情况下节点的解除授权不会导致blocks丢失的情况，但是在某些特殊场景中还是会出现小量blocks的丢失。

比如:

1、同时下线的节点数量太多，如果副本数为3，建议最多同时停用2个DataNode进行下线操作，等待下线完成后，进行副本检查没有问题后再下线其他节点 ----也就是说 至少保留一个DataNode

2、下线前数据副本已经不完整，建议下线前和下线后都需要对副本进行检查

3、网络带宽原因，集群内作业数量大，占用带宽高，导致副本没有拷贝到其他节点，如果有数据平衡操作，需要停止数据平衡操作，数据平衡会移动blocks的副本。

带有DataNode角色的主机移除前 调整HDFS 防止数据丢失

查看主机角色，在CDH界面中点击 主机—>角色

当我们要删除一个DataNode时，NameNode需要确保来自DataNode的每个blocks仍然可以在复制因子的指示下在整个群集中可用。

此过程涉及到小批量从DataNode复制块。如果DataNode有数千个块，则删除可能需要几个小时。

所以在使用Cloudera Manager对DataNode解除授权之前，应首先调整HDFS，这样可以大大缩短删除的时间。

首先在每一台DataNode角色中运行命令 进行副本检查

hdfs fsck / -list-corruptfileblocks -openforwri