总结使用IDEA+Maven+Spark创建项目在本地运行及提交到服务器遇到的各种问题

前言

该博客记录博主在使用IDEA+Maven构建Spark相关程序过程中遇到的问题、和总结,不定期添加。
欢迎在评论下补充。。。

总结

  • 在IDEA中测试好之后,准备提交到spark-submit时,会发生各种依赖错误,这种情况是本地按照的服务和pom.xml中的依赖相冲突等问题。。。 解决办法:记住 依赖中的版本 <= 安装的版本,因为高版本兼容低版本的可能性是已知的、大概率的,而低版本会有很多地方不兼容高版本。
  • 在IDEA中测试程序时,可能能够正常运行,但是提交到服务器上会提示缺少某个jar包。这里很疑惑,IDEA中能够跑,但提交到服务上不能跑。。。解决办法:根据提示将缺少的JAR 包对应的版本添加到项目的pom.xml 中,然后再IDEA中导入相关依赖,再在IDEA中跑一遍。测试下,添加依赖后能不能够运行。然后,再提交到服务器上。
  • 待添加。。。

完!

你可能感兴趣的:(IDEA)