spark本地提交任务到远程集群报错:file does not exist

背景

今天本来想测试一下Spark装到集群以外，远程提交任务试试。但是遇到了一些问题,这里记录一下。

微信公众号：大数据报文

环境

在集群以外提交任务首先要安装Spark客户端，而Spark客户端又依赖Hadoop（当然这里并不是集群，只是把hadoop解压并配置好环境变量）。

安装好以后使用spark-submit命令提交example中的Spark Pi程序到集群：

./spark-submit --class org.apache.spark.examples.SparkPi --master yarn ../examples/jars/spark-examples_2.11-2.2.1.jar

结果报错了：

19/12/12 08:57:09 INFO Client: 
	 client token: N/A
	 diagnostics: Application application_1574664235598_0057 failed 2 times due to AM Container for appattempt_1574664235598_0057_000002 exited with  exitCode: -1000
For more detailed output, check application tracking page:http://master:8088/cluster/app/application_1574664235598_0057Then, click on links to logs of each attempt.
Diagnostics: File file:/root/.sparkStaging/application_1574664235598_0057/metrics-core-3.1.2.jar does not exist
java.io.FileNotFoundException: File file:/root/.sparkStaging/application_1574664235598_0057/metrics-core-3.1.2.jar does not exist
	at org.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus(RawLocalFileSystem.java:611)

解决方案

上面乍看很奇怪，先把文件拷贝到一个目录紧接着说文件不存在。但是仔细想想。我们把Spark任务提交到集群，但是集群呢，好像并没有指定。

1.修改yarn-site.xml，指定yarn集群的位置。

    yarn.resourcemanager.address
    master:8032
  
  
    yarn.resourcemanager.scheduler.address
    master:8030
  
  
    yarn.resourcemanager.resource-tracker.address
    master:8031
  

2.修改core-site.xml,指定hdfs的位置

    
        fs.default.name
        hdfs://192.168.10.214:8020
    

上面配置好以后在提交就可以成功了。

补充与总结

上面只说了我遇到的问题。但是还有一些配置如SPARK_HOME、HADOOP_HOME、JAVA_HOME等都需要配到环境变量里面。否在hadoop的一些配置文件找不到环境变量的位置。

SPARK_HOME/conf/spark-env.sh,需要配置JAVA_HOME/HADOOP_CONF_DIR

export JAVA_HOME=/opt/jdk1.8.0_212
export HADOOP_CONF_DIR=/opt/hadoop-2.7.2/etc/hadoop

最后，虽然想脱离集群提交任务，但是不要忘记指定集群的位置。如果没有指定会默认找本机。