解决在local模式中提交spark作业至Apache Livy Batch交互模式错误

问题详情:

在使用Apache Livy中Batch模式提交Spark作业时,提交json如下:

{
	"conf":{"spark.master":"local"},
	"file":"/home/hadoop/Documents/spark/my_jars/SparkPlatform.jar",
	"className":"com.application.SparkOperateKv"
}

其中file对应的是位于spark服务机器上的jar包。

这时候会出现如下异常

{"msg":"requirement failed: Local path /home/hadoop/Documents/spark/my_jars/SparkPlatform.jar cannot be added to user sessions."}

解决方法是在jar包路径前添加 local:/

{
	"conf":{"spark.master":"local"},
	"file":"local:/home/hadoop/Documents/spark/my_jars/SparkPlatform.jar",
	"className":"com.application.SparkOperateKv"
}

 

你可能感兴趣的:(解决在local模式中提交spark作业至Apache Livy Batch交互模式错误)