HDFS数据块损坏是如何处理的？

HDFS数据块损坏是如何处理的？

数据块损坏恢复流程

在namenode中对于进行数据块副本的管理都是在FSnameSystem中，其中有一个成员变量 corruptReplicats
,其中就存储着损坏数据与DataNode的映射，当某个数据块损坏后（DataNode可以通过数据块扫描器获知，通过心跳发送给namenode）,namenode会将损坏的数据块加到corrupReplicats中，当损坏的数据块在DataNode上删除后会在corrutpReplicatS中也删除。
当部分副本出现损坏时，namenode进行数据块复制时，有一个数据结构叫做underReplicatedBlocks对象，其中就有list保存需要进行数据块复制的数据块，对于数据块复制是有优先级的，underReplicatedBlocks的getPriority()会返回数据块的优先级，等待复制的对象从underReplicatsBlocks中读取出来之后会生成复制请求，并将请求放入FSnameSystem.pendingReplications中。pendlingReplication是一个数据块到数据块复制信息pendingBlockInfo的映射，pendlingReplication保存了数据块复制的时间和复制副本数，如果复制没成功会被重新插入到underReplicatedBlocks对象中，重新产生复制请求。

数据块损坏自动恢复相关参数

hdfs当然会自动修复损坏的数据块，当数据块损坏后，DN节点执⾏directoryscan之前，都不会发现损坏，也就是directoryscan操作校验是默认间隔6h
dfs.datanode.directoryscan.interval : 21600

在DN向NN进⾏blockreport前，都不会恢复数据块;也就是blockreport操作是间隔6h
dfs.blockreport.intervalMsec : 21600000

数据块损坏手动恢复方式：

hdfs fsck / #先检查哪些数据块丢失了
hdfs debug recoverLease -path 文件位置 -retries 重试次数 # 修复指定路径的hdfs文件，可以尝试多次

搜索公众号 guowei   ,关注更多大数据知识