关于yarn的参数调整(yarn.nodemanager.vmem-pmem-ratio)

背景:

        1、flink on yarn

        2、某一天本人提交flink任务,.原命令/bin/flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024,正常启动,我调大了-ytm为2048.程序一直报Deployment took more than 60 seconds. Please check if the requested resources are available in the YARN cluster,但实际上,整个集群内存很充足,我就懵逼了。

        3、开启解惑之旅。

解惑记录如下,希望同样问题的小伙伴可以借鉴一下。

        出现这个问题,我首先想到了我前几天调的yarn参数,yarn.nodemanager.vmem-pmem-ratio调了值为5,这个是虚拟内存和真实物理内存的比率,这参数默认值为2.1,我把yarn.nodemanager.vmem-pmem-ratio 调小为3.然后运行

./bin/flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 2048 -ynm  xxxx    -d  -c             com.xxx.flink.app.xxxx    /var/apps/xxx-xxx.jar    正常启动。


有感:比如yarn-参数 一般是作为基础参数, yarn启动之后一般不做修改,那就设置为偏小或者最小值  ,然后每次给作业job分配的时候就按实际的申请就可以了

你可能感兴趣的:(关于yarn的参数调整(yarn.nodemanager.vmem-pmem-ratio))