Hadoop环境搭建中的问题

在搭建好环境之后，输入JPS命令查看目前进程，在主节点包含JPS、NameNode、DataNode、NodeManager、ResourceManager、SecondaryNamenode进程。在从节点中，包含DataNode、JPS、NodeManage进程。这一切似乎是正确的，但是当过一段时间继续使用JPS命令时，发现NodeManager进程被中断，重新启动Hadoop之后NodeManager进程又会开启，过一段时间还是会被中断。查看Hadoop日志文件时，发现错误如图所示。

可以看出是yarn-site.xml配置问题。启动NodeManager所需内存不够，而NodeManager启动所需内存最低为1024MB，因此需要在配置文件中添加一些有关内存的配置信息如图所示。

将此配置分发到其他节点上并重新启动Hadoop， NodeManager不会被中断。
在确认平台搭建无误后，接下来测试HDFS集群以及MapReduce程序，首先在HDFS上创建一个目录，然后将测试文件上传到HDFS目录，执行示例程序。在示例程序所在位置输入执行命令：
Hadoop jar hadoop-mapreduce-examples-2.7.4.jar wordcount /input

可以看出是在运行Job过程中出错，因此查看yarn-hadoop-nodemanager-
slave1.log日志，日志打印如图所示。

可以看出Client通信失败，在发出多次请求之后最终超时，可以考虑到还是配置问题。因此，我们需要添加三个配置，如图所示。

其中第一个属性表示客户端提交任务时向ResourceManager发送请求的地址。第二个属性表示ApplicationMaster向ResourceManager申请资源所提供的地址。第三个属性表示的是ResourceManager 对NodeManager所提供的地址。在添加配置后，不会再出现等待情况，会出现新的问题，如图所示。

提示为请求所需的内存大于目前的最大内存，我们继续添加yarn配置yarn.scheduler.maximum-allocation-mb，yarn.nodemanager.resource.memory-mb这两项的值扩大，由于其默认为1024，因此添加此配置并将其改为2048即可。当再次运行MapReduce示例，会提示成功，集群搭建完毕。