Failed to execute goal net.alchim31.maven:scala-maven-plugin:3.2.2:compile

环境:

spark:2.4.4

maven:apache-maven-3.6.2 

java: 1.8

背景:

修改了spark源码,想基于此用spark的make-distribution.sh脚本重新打可部署的tar包,命令如下:

./dev/make-distribution.sh --name maruilei-spark  --tgz  -Phadoop-2.7 -Phive -Phive-thriftserver -Pyarn -Pkubernetes -Psparkr -DskipTests

问题:

报错:

[ERROR] Failed to execute goal net.alchim31.maven:scala-maven-plugin:3.2.2:compile (scala-compile-first) on project spark-kubernetes_2.11: Execution scala-compile-first of goal net.alchim31.maven:scala-maven-plugin:3.2.2:compile failed.: CompileFailed -> [Help 1]

办法:

针对此问题,网上一般尝试方法:

1. 添加依赖:


net.alchim31.maven
scala-maven-plugin
3.2.2

2. 修改pom-parent.xml

${scala.version}
incremental
true

3. 检查并kill掉后台zinc进程:

ps -ef |grep hadoop

kill $pid

4. 可能跟maven版本有关:(这个可能遇到)

修改$MAVEN_HOME为spark-2.4.4自带的maven地址
或
修改make-distribution.sh脚本中第39行: MVN="$SPARK_HOME/build/mvn"
为 MVN="$MAVEN_HOME/bin/mvn"

结论:

很不巧,上面的办法对我都没生效。

最终解决及思路:

考虑到报错信息及上述方法未生效,我开始怀疑是否为本机环境或代码改的有问题。

首先把代码都回退至原生代码后,用相同的make-distribution.sh命令执行打tar包操作,成功;

恢复代码后,失败;

...尴尬...

检查及修改代码,去掉了一些不必要的修改及规范了几处代码,成功;

尴尬......

 

你可能感兴趣的:(Spark,On,Kubernetes,报错记录)