大数据开发运维之YARN运维

1.扩缩容
hadoop节点下线nodemanager
Step-by-step guide
下线Nodemanager：
在yarn-site.xml中配置以下配置：

yarn.resourcemanager.nodes.exclude-path
/etc/hadoop/conf/mapred.exclude
true

以后有节点下线只需要编辑mapred.exclude文件，每个节点一行
以yarn 用户执行yarn rmadmin -refreshQueues 则会把exclude的节点标记为下线
2.资源队列调整
1.案例
yz-4m1-01集群上的队列分为生产型和非生产型。在2017年4月12日凌晨0点--早上9点，非生产型队列占用资大数据培训源较多，导致集群压力过大，影响了当日早上9点的dwa下发。生产侧提出了队列资源的优化方案，如下：

2.备份当前队列的配置文件
在CM首页点击yarn

在yarn的【配置】页面，搜索“容量调度”，调出右侧的【值】

将【值】中的数据全部复制出来备份到本地。建议粘贴到写字板上，粘贴到txt里排版会出现混乱。
3.修改当前队列的配置信息
以qc队列为例：

4.保存更改

5.刷新动态资源池
在CM首页，点击集群右边的倒三角，再点击【刷新动态资源池】

6.核实已经修改成功
在Applications页面的Scheduler，调出qc队列的信息。

3.无CM修改队列资源
1.需求：
固网集群xx队列lf_zl资源38%*1.8拆分
原队列 lf_zl 改为 25%*2 ----租户使用
其余资源新增队列lf_ja 13%*1.8 -----预计后续部署租户使用
2.修改capacity-scheduler.xml
cd/opt/beh/core/hadoop/etc/hadoop/ #进入配置文件所在目录
cpcapacity-scheduler.xmlcapacity-scheduler.xml_20170616 #备份配置文件
vi capacity-scheduler.xml #修改配置文件
修改yarn.scheduler.capacity.root.queues的值，在value里添加lf_ja

修改原lf_zl的值：
把yarn.scheduler.capacity.root.lf_zl.capacity的值从38改为25

把yarn.scheduler.capacity.root.lf_zl.user-limit-facto的值从1.8改为2

在配置文件中新增队列配置文件，如下：

yarn.scheduler.capacity.root.lf_ja.capacity
13
default queue target capacity.


yarn.scheduler.capacity.root.lf_ja.user-limit-factor
1.8

default queue user limit a percentage from 0.0 to 1.0.



yarn.scheduler.capacity.root.lf_ja.maximum-capacity
100

The maximum capacity of the default queue.



yarn.scheduler.capacity.root.lf_ja.state
RUNNING

The state of the default queue. State can be one of RUNNING or STOPPED.



yarn.scheduler.capacity.root.lf_ja.acl_submit_applications
lf_ja_pro

The ACL of who can submit jobs to the default queue.



yarn.scheduler.capacity.root.lf_ja.acl_administer_queue
lf_ja_pro

The ACL of who can administer jobs on the default queue.


3.把更改后的配置文件拷贝到stanby节点
cp/opt/beh/core/hadoop/etc/hadoop/capacity-scheduler.xml /opt/beh/core/hadoop/etc/hadoop/capacity-scheduler.xml_20170616#登录stanby节点备份原配置文件
scp/opt/beh/core/hadoop/etc/hadoop/capacity-scheduler.xml [email protected]:/opt/beh/core/hadoop/etc/hadoop/capacity-scheduler.xml #把修改后的配置文件拷贝到备节点主机上
4.登录主节点动态刷新资源池
yarn rmadmin -refreshQueues#刷新动态资源池
5.登录yarn界面检查更改结果是否正确，如图：

4.修改用户yarn资源分配
hadoop修改用户yarn队列分配倍数
1.以管理员用户登录所要更改的CM，进入后点击yarn,如图：

2.在yarn界面点击配置按钮，并在弹出的查找框中输入“容量调度”，查找如图：

3.把出现的值粘贴到文本留作备份（建议粘贴到写字板上，粘贴到txt里排版会出现混乱）切记一定要备份！！！
4.修改所需修改的值（一般限制用户队列，建议修改分配的倍数即Configured User Limit Factor这个值。修改Absolute Capacity需要对整体集群进行计算，所以用户加一起的达到百分百，建议不做修改）
5.列：如修改didi用户的Configured User Limit Factor值。
（1）登录yarn,点击Scheduler，点击didi用户的倒三角图标：

我们可以看出didi用户的Configured User Limit Factor值为3，即他可以使用超出他分配百分比的三倍。
（2）修改拷贝中的文本，查找didi配置文件那列：

(3)找到所需修改的值Configured User Limit Factor。将倍数修改成需要调整后的值。

（3）把配置文件拷贝回CM-yarn-配置-容量调度的那个文本框里，点击保存。

（4）回到CM主页，点击集群右边的倒三角，点击刷新动态资源池。

（5）配置完毕，到yarn上查看修改是否成功。