Spark集群中提交jar包运行程序报错：java.lang.NoClassDefFoundError XXXXXXX

问题描述

在本地IDEA中写好Spark程序，打成jar包，使用spark-submit命令提交到Spark集群中运行，结果报错：java.lang.NoClassDefFoundError XXXX。

问题原因

我在网上看了一下，一般导致这个问题有两个原因：

1. Spark依赖的Scala版本和安装的Scala版本不一致（其他软件依赖的Scala版本不一致也会导致整个错误）
2. 编写的Spark程序所依赖的第三方jar包没有导入到集群spark安装目录下的jar文件夹中

解决办法

咱们就对症治疗，

1. 修改软件依赖Scala版本
2. 导入jar包到集群每个节点的jar文件夹中

如果以上两招没用的话就只能换网上其他方法了，那些方法我暂时理解不了，这里就不写了。