HDFS Corrupt blocks 解决方法

查看修复HDFS中损坏的块

检测缺失块

1 hdfs fsck -list-corruptfileblocks

1 hdfs fsck / | egrep -v '^\.+$' | grep -v eplica

查看上面某一个文件的情况

1 hdfs fsck /path/to/corrupt/file -locations -blocks -files

解决方法

1. 如果文件不重要，可以直接删除此文件(hdfs fsck -delete)；或删除后重新复制一份到集群中
2. 如果不能删除，需要从上面命令中找到发生在哪台机器上，然后到此机器上查看日志。

 

常用命令介绍：

1、查看节点、hdfs、丢失的数据块 命令：hadoop dfsadmin -report 

2、查看文件系统的健康状况：hdfs fsck -- [-options]

Usage: DFSck [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]
                     检查这个目录中的文件是否完整

        -move               破损的文件移至/lost+found目录
        -delete             删除破损的文件

        -openforwrite   打印正在打开写操作的文件

        -files                 打印正在check的文件名

        -blocks             打印block报告 （需要和-files参数一起使用）

        -locations         打印每个block的位置信息（需要和-files参数一起使用）

        -racks               打印位置信息的网络拓扑图 （需要和-files参数一起使用）

hadoop  fsck /

用这个命令可以检查整个文件系统的健康状况，但是要注意它不会主动恢复备份缺失的block，这个是由NameNode单独的线程异步处理的。

3、如果hadoop不能自动恢复，则只能删除 corrupted blocks;

     hdfs fsck -delete