yarn内存cpu的分配

2018/03/11

昨天和今天都跑了一些个程序，但是每次都是因为资源的问题失败了，而且直接导致这个节点的nodemananger服务down了。
用dmesg查看是因为内存的问题。
而且看了下这个任务分配情况，好像他把所有的任务都分配到一个节点上了。（但是还是需要进一步确认下。)

---

这部分我现在重新调度一下看看。尽可能从其程序自身给出的信息来看。
在未安排任务之前，

节点信息

看这里，其实我的机器并没有那么多内存，更没有那么多虚拟核（虚拟核的概念不同，但应该与真实核相差不要太大）
运行上午的程序，点开appID，再点开attemptID。

image.png

而且真的是他用了太多内存了。
这部分没办法。虽然这次节点没有节点down。

---

这就比较尴尬了。
所以只能通过修改yarn资源分配的数字来进行修改了。
现在开始修改配置。
http://blog.javachen.com/2015/06/05/yarn-memory-and-cpu-configuration.html?utm_source=tuicool&utm_medium=referral
http://blog.csdn.net/oufuji/article/details/50387039