Spark on yarn启动时报错:Error initializing SparkContext解决方法

1.首先确认hadoop集群下的yarn-site.xml配置文件是否添加了下面内容

	<property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
    </property>
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
        <description>Whether virtual memory limits will be enforced for containers</description>
    </property>
    <property>
        <name>yarn.nodemanager.vmem-pmem-ratio</name>
        <value>4</value>
        <description>Ratio between virtual memory to physical memory when setting memory limits for containers</description>
    </property>

2.之后确认spark的配置文件:
(1)slaves文件是否配置了

master
slave1
slave2

或对应的ip地址。
(2)spark-defaults.conf文件是否配置了

spark.master spark://master:7077
spark.yarn.jars=hdfs://master:9000/user/spark/spark-jars/*

注意是否配置jar包路径
(3)spark-env.sh文件是否配置了

export JAVA_HOME=/usr/local/java/jdk1.8.0_151
export SPARK_HOME=/hadoop/spark-2.3.1-bin-hadoop2.7
export SPARK_MASTER_WEBUI_PORT=8888
export HADOOP_CONF_DIR=/hadoop/hadoop-2.7.7/etc/hadoop 

注意配置HADOOP_CONF_DIR

*3.确认配置之后如果问题还未解决,查看hdfs://master:9000/user/spark/spark-jars/上是否放好了/hadoop/spark-2.3.1-bin-hadoop2.7/jars中的jar包。

没有则将其放上:

hadoop fs -put /hadoop/spark-2.3.1-bin-hadoop2.7/jars/* /user/spark/spark-jars/*

通常上述问题解决后Error initializing SparkContext报错就解决了。

你可能感兴趣的:(大数据)