记hadoop集群黑名单移除节点出现问题及解决

         首先区分一下通过直接下线服务和通过黑名单来移除节点的区别，这两个动作都会涉及到block副本数不够而复制移动恢复的问题，但是通过黑名单的话可以同时移除多个节点，这个是两种情况的主要区别；

步骤：

1.移除nodemanager

    在yarn-site.xml中加入以下配置

       
                yarn.resourcemanager.nodes.exclude-path
                /data1/app/hadoop-2.7.1/etc/hadoop/excludes
       

    同时在文件excludes中加入要移除的节点的hostname

执行yarn rmadmin -refreshNodes 即可，最后可看到yarn资源管理界面出现以下移除节点数，并且nodemanager 服务自动下线；

2.移除datanode

  同样要在hdfs-site.xml配置中加入

    
        dfs.hosts.exclude
        /data1/app/hadoop-2.7.1/etc/hadoop/excludes
   

执行hdfs dfsadmin -refreshNodes即可，这个时候 会出现一个漫长的block复制的问题，直到复制完datanode下线；

过程中出现的问题是，复制最后剩下700多个block的时候，出现一直复制不了的问题，比如如下

当时是700多个block一直移动不了，等一个小时还是没有什么变化，这个时候就得用上hdfs的的健康监测命令fsck了，通过执行：

hdfs fsck / | grep 'Under replicated' | awk -F':' '{print $1}' 可以看到以下很多的作业的jar包等文件要被复制；

hdfs dfs --setrep命令来更改文件的副本数即可；

如下：

hdfs fsck / | grep 'Under replicated' | awk -F':' '{print $1}' >> ~/under_replicated_files

for file in `cat ~/under_replicated_files`; do   hdfs dfs -setrep 2 $file; done

完成后，可以看到Number of Under-Replicated Blocks 开始复制并且变为0，后面datanode进程最后也自动没了，表示下线成功；