使用spark运行yarn的时候, java.lang.Exception: When running with master 'yarn' either HADOOP_CONF_DIR or YAR

一：报错信息

使用spark运行yarn的时候,报错Exception in thread “main” java.lang.Exception: When running with master ‘yarn’ either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment
如下图：

二：解决方案

直接在命令行执行：

export HADOOP_CONF_DIR=hadoop的安装目录etc下的hadoop

例如：

export HADOOP_CONF_DIR=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop/

三：报错原因

关于yarn的一些配置信息都是在安装hadoop的时候自带，如果想利用yarn来启动spark，需要告知spark关于yarn的配置信息