Error: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-965200530-172.21.

错误很明显无法获得BP-965200530-172.21.3.170-1400216975207:blk_-1762002543329523353_80392 file=/user/bdsdata/.staging/job_1406698610363_0394/job.split

的数据,然后节点监控页面发现datanode已经死了两个(本来有三个datanode两个namenode),然后看了下hdfs-site.xml发现replication的值为2,可见是由于节点坏死导致无法获取数据,重启死掉的节点问题解决,当然也有可能是datanode的通信出现问题,但可能性比较小。

你可能感兴趣的:(hadoop,大数据离线处理)