Scala调用Spark工具包出现错误: 找不到或无法加载主类

使用eclipse编辑器搭建spark框架的时候,可能会遇上“找不到或无法加载主类”的问题。搜索出现此类情况的错误,不难发现网上很多信息指出这是因为混合了java 和scala,造成了不编译。但是,如果有使用他们的解决方法,还是失效的小伙伴们,那么可以试试我的方法。
注:Scala版本为2.11.8;Java版本为1.8;Spark版本为spark-1.6.2-bin-hadoop2.6;系统是Window10。

首先,我们建立一个scala工程——Tmp。
Scala调用Spark工具包出现错误: 找不到或无法加载主类_第1张图片
从图中,可以发现系统默认使用的2.12.3版本的Scala和1.8版本的Java。
然后,添加Spark关联包。选中Tmp文件夹点右键,找到properties选项并点击。
Scala调用Spark工具包出现错误: 找不到或无法加载主类_第2张图片
如图所示,选择Java Build Path选项,然后,再点击add external JARS选项。导入spark-1.6.2-bin-hadoop2.6\lib中的spark-assembly-1.6.2-hadoop2.6.0.jar文件。最后,点击apply。
Scala调用Spark工具包出现错误: 找不到或无法加载主类_第3张图片
从上图,可以发现Tmp文件左下角有一个红色的小叉,这是因为Scala的版本没有设置好。选择上图中的Scala Compiler选项,然后,按下图标注进行操作。修改Scala的版本
Scala调用Spark工具包出现错误: 找不到或无法加载主类_第4张图片
再选择Build manager选项,设置Scala和Java调用的前后顺序(这一步看情况而定,如果上一步已经使小红叉消失,就没有必要设置这一步了)。最后,选择菜单栏的project中的clean操作后小红叉消失,程序运行正常!
Scala调用Spark工具包出现错误: 找不到或无法加载主类_第5张图片
Scala调用Spark工具包出现错误: 找不到或无法加载主类_第6张图片
与别的方法不同,此次使用的是Spark1.6版本,没有使用2.0以上的版本,这是因为在2.0以上版本中Spark文件中没有lib文件,就无法导入spark-assembly-1.6.2-hadoop2.6.0.jar文件了。而导入其它的jar文件即使Scala和Java的顺序设置正确,我的电脑也会出现这个问题。目前,还没有找到更好的方法,只是降低了Spark的版本。希望遇到相同问题的小伙伴,能给我更多建议。

你可能感兴趣的:(Spark学习之路)