hdfs块损坏查找

hadoop命令fsck命令
查找 / 路径下损坏块和异常块
hdfs fsck -list-corruptfileblocks /

删除/user/yantianyu/路径下的异常块
hdfs fsck -delete /user/yantianyu/
删除成功

具体命令介绍：
-move: 移动损坏的文件到/lost+found目录下
-delete: 删除损坏的文件
-openforwrite: 输出检测中的正在被写的文件
-list-corruptfileblocks: 输出损坏的块及其所属的文件
-files: 输出正在被检测的文件
-blocks: 输出block的详细报告 （需要和-files参数一起使用）
-locations: 输出block的位置信息 （需要和-files参数一起使用）
-racks: 输出文件块位置所在的机架信息（需要和-files参数一起使用）

修复HDFS坏数据 hdfs debug recoverLease -path 路径 -retries 重试次数

例如要查看HDFS中某个文件的block块的具体分布，可以这样写：
hadoop fsck /your_file_path -files -blocks -locations -racks

具体实例：

参数解释：
status：代表这次hdfs上block检测的结果
Total size: 代表/目录下文件总大小
Total dirs：代表检测的目录下总共有多少个目录
Total files：代表检测的目录下总共有多少文件
Total symlinks：代表检测的目录下有多少个符号连接
Total blocks(validated)：代表检测的目录下有多少个block块是有效的
Minimally replicated blocks：代表拷贝的最小block块数
Over-replicated blocks：指的是副本数大于指定副本数的block数量
Under-replicated blocks：指的是副本数小于指定副本数的block数量
Mis-replicated blocks：指丢失的block块数量
Default replication factor: 3 指默认的副本数是3份（自身一份，需要拷贝两份）
Missing replicas：丢失的副本数
Number of data-nodes：有多少个节点
Number of racks：有多少个机架
hdfs fsck /

参数说明：

Total size ： hdfs集群存储大小，不包括复本大小。如：75423236058649 B （字节）。（字节->KB->m->G->TB，75423236058649/1024/1024/1024/1024=68.59703358591014TB）

Total blocks (validated) : 总共的块数量，不包括复本。（5363690 (avg. block size 14061818 B) (Total open file blocks (not validated): 148)，计算： 14061818 *5363690=75423232588420 集群的容量大小，不包括复本的）
Number of data-nodes ： datanode的节点数量
Number of racks ： 机架数量
Default replication factor ： 默认的复制因子
Average block replication ： 当前块的平均复制数，如果小 default replication factor，则有块丢失
Under-replicated blocks ： 正在复制块数量
Mis-replicated blocks ： 正复制的缺少复制块的数量
Missing replicas ： 缺少复制块的数量，通常情况下Under-replicated blocks\Mis-replicated blocks\Missing replicas 都为0，则集群健康，如果不为0，则缺失块了
Corrupt blocks ： 坏块的数量，这个值不为0，则说明当前集群有不可恢复的块，即数据有丢失了
当下架节点时Under-replicated blocks\Mis-replicated blocks\Missing replicas，这三个参数会显示当前，需要补的块的数量，集群会自动补全，当三个参数都为0时，则集群块的复制块完全了。

如下截图：