关于spark集群运行出现java.lang.ClassNotFoundException错误

各软件版本如下

spark:2.3.0

IdealIC:2019.1

    利用IdealIC软件对spark程序打包好后,然后放到集群运行,可是运行命令,一直报java.lang.ClassNotFoundException: com.dt.spark.wordcount错误,对打包好的jar进行打开,com.dt.spark包里面有wordcount这个类,然后在IdealIC查找原因,在file----Project Structure----Artifcats中对jars进行设置,在对输出的jar包中除了“kuaishou” compile output,其他的jar包都删除,然后进行打包运行没有出现这个错误。

 

做记录,供以后参考!!

 

 

关于spark集群运行出现java.lang.ClassNotFoundException错误_第1张图片关于spark集群运行出现java.lang.ClassNotFoundException错误_第2张图片

你可能感兴趣的:(spark)