HDFS读写文件时出现问题

HDFS读写文件时出现问题

读取文件时,其中一个文件损坏

client在读取完DataNode上的块后会进行验证,将client读取的和原始的进行校验,如果校验结果不一致,client告知NameNode,然后找到下一个拥有该block的DateNode重新读取

上传文件时,其中一个DataNode挂掉

在client写入文件 时,DataNode每接收到一个block都会返回以一个ack,确认已经接受到了数据。

当DataNode挂掉之后,client接收不到ack确认,client会通知NameNode,NameNode会检查该block副本,如果与规定的不符,则让其他DataNode去复制副本,将挂掉的DataNode下线,不让其再参与文件的读写

你可能感兴趣的:(hdfs,hadoop,大数据)