Hadoop的Shuffle Error问题的解决。

今天在运行一个简单的mapred任务时， 在reduce到到16的时候老是会出Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing - out.这个错误， 运行几次都不行。 网上google得知需要到hadoop-site.xml加上一个property解决。

 

写道

secondary name node所在的机器没有配置dfs.http.address这个参数，该参数在hadoop-default.xml里的缺省值是0.0.0.0:50070，应改为name node所在机器的ip地址。

 

加上这个property，然后rsync到各个node， 再运行mapred任务。 问题解决。

 

参考：http://www.cnblogs.com/bjzhanghao/archive/2008/11/02/1325113.html