BUG解决 | Hadoop集群下启动Spark On Yarn 报错问题及解决 版本兼容问题 Hadoop3.1.3 与Spark3.0.0

参考博文

运行环境

  • Hadoop 3.1.3
  • Spark 3.0.0
  • JDK8

问题描述

在 集群 yarn 完全开启的情况下
BUG解决 | Hadoop集群下启动Spark On Yarn 报错问题及解决 版本兼容问题 Hadoop3.1.3 与Spark3.0.0_第1张图片

执行命令 ./spark-shell --master yarn 报错

BUG解决 | Hadoop集群下启动Spark On Yarn 报错问题及解决 版本兼容问题 Hadoop3.1.3 与Spark3.0.0_第2张图片

解决措施

首先关闭集群, 接着在 hadoop目录下的/etc/hadoop/yarn-site.xml 配置文件中添加以下内容:

<property>
    <name>yarn.nodemanager.pmem-check-enabledname>
    <value>falsevalue>
property>

<property>
    <name>yarn.nodemanager.vmem-check-enabledname>
    <value>falsevalue>
property>

在主节点修改后,分发到其他所有节点,主节点启动集群

在主节点执行 Spark-shell 命令

cd $SPARK_HOME/bin
./spark-shell --master yarn

运行结果:
BUG解决 | Hadoop集群下启动Spark On Yarn 报错问题及解决 版本兼容问题 Hadoop3.1.3 与Spark3.0.0_第3张图片

你可能感兴趣的:(笔记,spark,hadoop,yarn)