hadoop任务优化-调整队列资源

集群环境： chd5-2.5.2
我们集群使用的是FailScheduler，如果队列参数设置不合理，会直接影响到任务执行的快慢。

队列设置不合理

举例如下：

现状：该队里minshare设置的过小，同时起的任务太多
导致的问题：该队列中平均每个任务分的资源比较少，任务跑的特别慢，同时，任务之间会相互抢占container

比如下面的任务，跑了30多个小时，还没跑完

看一下任务详情：
1，当前只分配了11个container，还差约4000个cotnainer才能完成任务，
2，container被kill掉了约16000个，资源浪费严重

container 被kill掉的原因，大部分是因为container被别的任务抢占。：

解决办法：

1）调整minshare，maxshare
2）调整maxrunningapp
参数的详细解释，可以参考
http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-configurations-fair-scheduler/