scala+maven生成spark项目步骤

1.新建maven project

scala+maven生成spark项目步骤_第1张图片

如果没有scala选项,之前的文章有教怎么创建,链接http://blog.csdn.net/hylexus/article/details/52602774

scala+maven生成spark项目步骤_第2张图片

至此,maven项目构建完成。

2.整合scala,在项目上点击右键,configure-add scala nature

scala+maven生成spark项目步骤_第3张图片

修改pom.xml中的依赖文件,就可以开始写scala了。


 
	org.apache.spark
	spark-core_2.10
	2.2.0
 
 
	org.scala-lang
	scala-library
	2.10.4
 

这里可能会出现下面几个错误:

错误一:


解决方法,把节点放到里面。

错误二:


解决方法:scala版本不匹配的问题,把scala版本改为2.1,如下图所示

scala+maven生成spark项目步骤_第4张图片

错误三:把源代码路径的反斜杠改为.


清理maven仓库方法,在项目上右键-maven-update project

scala+maven生成spark项目步骤_第5张图片


3.写scala代码

右键,新建scala object

scala+maven生成spark项目步骤_第6张图片

scala+maven生成spark项目步骤_第7张图片

4.将项目打包成jar,在项目上点击右键,run as 

scala+maven生成spark项目步骤_第8张图片

scala+maven生成spark项目步骤_第9张图片

goals填写完成之后,点击run,即可生成jar包。

编译时会出现找不到assembly之类的错误,原因是要配置pom.xml文件。

加上下面的


	maven-assembly-plugin
	2.6
	
		
			jar-with-dependencies
		
	
					


你可能感兴趣的:(大数据)