spark-submit 跑 scala 写的 spark 报错

用 IDEA 编写 Scala spark 程序时,在 IDEA 可以跑通。
但用 sbt package 打包后的 jar 文件用 spark-submit 跑却出现以下错误

ERROR Executor: Exception in task 0.0 in stage 0.0 (TID 0)
java.io.IOException: unexpected exception type

先进去 spark-shell ,查看 spark 的 Scala 版本
spark-submit 跑 scala 写的 spark 报错_第1张图片
然后再去项目中,修改 scalaVersion

spark-submit 跑 scala 写的 spark 报错_第2张图片
build 一下,再 sbt package,再 spark-submit 即可以成功。

你可能感兴趣的:(Scala)