Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.

分类： 分布式框架 hadoop 2012-01-06 10:17  1135人阅读  评论(4)  收藏  举报

服务器 hadoop 测试 网络

hadoop在使用的过程中出现了这样的错误。

解决方式，修改datanode节点里/etc/hosts文件。

操作的详细步骤如下：

首先查看主机名称

cat /proc/sys/kernel/hostname

简单介绍下hosts格式

每行分为三个部分：第一部分网络IP地址、第二部分主机名或域名、第三部分主机别名

修改hosts配置内容如下：

127.0.0.1             localhost.localdomain       localhost
::1               localhost6.localdomain6  localhost6
10.200.187.77   10.200.187.77                     hadoop-datanode

如果配置后出现IP地址就表示修改成功了，如果还是显示主机名就有问题了，继续修改这个hosts文件，
这里提醒下：原始的hosts文件，在第一行里会把主机名写入，如下内容：
127.0.0.1             hadoop-datanode   localhost.localdomain       localhost
这是是需要把hadoop-datanode内容删除掉。
如下图：

 上图提醒下，chenyi是主机名。

当在测试环境里，自己再去部署一个域名服务器（个人觉得很繁琐），所以简单地方式，就直接用IP地址比较方便。

如果有了域名服务器的话，那就直接进行映射配置即可。