spark-submit 提交报错

Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)Ljava/lang/Object;

解决方法

代码中的spark版本依赖必须和集群spark版本一致 否则报如上错误。

我的服务器有两套不一样的spark集群版本因此命令有两个如下：

spark-submit \
--class com.picc.cn.Spark2Hdfs \
--master yarn \
--deploy-mode client \
--driver-memory 4g \
--num-executors 10 \
--executor-memory 4g \
--executor-cores 2 \
Spark2Hdfs.jar

spark2-submit \
--class com.picc.streaming.SparkStreamingToHdfs \
--master yarn \
--deploy-mode client \
--driver-memory 4g \
--num-executors 10 \
--executor-memory 4g \
--executor-cores 2 \
SparkStreamingToHdfs.jar