Yarn【关于配置yarn-site.xml的注意事项】

 注意事项

• 配置文件的表签内容可以删，不影响配置文件的读取。
• 最重要的标签中间的内容一定要好好检查，尤其是在复制别人的配置信息的时候格外要注意：
• value中有没有空格、有没有因为你打开工具的不同导致部分编码不一致一些符号乱码等问题。
• 尤其是从 pdf文件 复制内容的时候，很容易把每页的标题页脚复制进去，以及pdf复制的内容中有我们看不出来的回车符\n，我今天就是因为配置Yarn的容量调度器，报错说这可能是由于 YARN 包中缺少必要的类或配置文件，或者与调度器相关的配置属性被设置为无效的值。

2023-06-07 16:33:29,238 INFO org.apache.hadoop.service.AbstractService: Service RMActiveServices failed in state INITED
org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Could not instantiate Scheduler: org.apache.hadoop.yarn.server.resourcemanager.scheduler.capaci
ty.CapacityScheduler
at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.createScheduler(ResourceManager.java:473)

很多时候配置文件光看是一点问题没有的，但是需要仔细审阅，不然会让你怀疑到自闭。

如果还是有报错，那说明就是真的错了，这个时候就需要查看报错日志了

关于yarn-site.xml的参数配置 

针对我的电脑（锐龙R7），主要配置三部分

1、ResourceManager

yarn.resourcemanager.scheduler.class
org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler



yarn.resourcemanager.scheduler.client.thread-count
8

2、NodeManager

注意：

并不是说你配置好直接分发给所有节点就完事了，比如NodeManager的参数配置，这是管理每台节点的，如果你的节点的硬件配置（CPU、内存）都差不多，那没问题，你可以配置完yarn-site.xml 后直接分发给集群所有节点。

但是如果你节点的配置相差比较大，一台节点是很好的处理器（比如8核16线程），那么你就需要为它单独配置yarn-site.xml（可以给它配置虚拟核/物理核为 2.0，因为这个参数默认是 1.0）。也就是说我们是根据每台节点的情况不同设置各自的NodeManager参数的。

 

yarn.nodemanager.resource.detect-hardware-capabilities
false



yarn.nodemanager.resource.count-logical-processors-as-cores
false



yarn.nodemanager.resource.pcores-vcores-multiplier
1.0



yarn.nodemanager.resource.memory-mb
4096



yarn.nodemanager.resource.cpu-vcores
4

3、Container

yarn.scheduler.minimum-allocation-mb
1024



yarn.scheduler.maximum-allocation-mb
2048



yarn.scheduler.minimum-allocation-vcores
1



yarn.scheduler.maximum-allocation-vcores
2



Whether virtual memory limits will be enforced for
containers.
yarn.nodemanager.vmem-check-enabled
false



yarn.nodemanager.vmem-pmem-ratio
2.1

如何查看Yarn报错信息

比如我的Yarn是在hadoop103上的，查看报错日志就应该去hadoop103上。

默认在我们Hadoop的主目录下有一个logs的目录：

vim编辑器配置文件

显示行号

命令：esc : set number

删除多行内容

删除1到10行内容

命令：esc：1,10d

---

附上我今天额外添加的配置信息，日后回来检查

yarn.resourcemanager.scheduler.class
org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler



yarn.resourcemanager.scheduler.client.thread-count
8





yarn.nodemanager.resource.detect-hardware-capabilities
false



yarn.nodemanager.resource.count-logical-processors-as-cores
false



yarn.nodemanager.resource.pcores-vcores-multiplier
1.0



yarn.nodemanager.resource.memory-mb
4096



yarn.nodemanager.resource.cpu-vcores
4







yarn.scheduler.minimum-allocation-mb
1024



yarn.scheduler.maximum-allocation-mb
2048



yarn.scheduler.minimum-allocation-vcores
1



yarn.scheduler.maximum-allocation-vcores
2



Whether virtual memory limits will be enforced for
containers.
yarn.nodemanager.vmem-check-enabled
false



yarn.nodemanager.vmem-pmem-ratio
2.1