eclipse+Maven管理Spark项目

刚开始用IDEA,用起来很不顺心，特别是快捷键的使用，批量导入依赖等，IDEA做得远不如eclipse。刚开始用sbt管理依赖，可是用得不熟，打的jar包都是肥包，编译上传等都麻烦。于是放弃IDEA，改用eclipse。

一：开发环境准备：eclipse中scala  IDE插件安装：help-eclipse marketplace 搜索scala下载

二：导入maven项目

三：初次导入时候，不能创建scala文件，这是因为还没有增加scala属性：项目右键configuration--add scala nature就可以了

附：maven项目的pom.xml

	4.0.0

	com.pxene.dmp
	my-machine-learning
	1.0-SNAPSHOT

	
		UTF-8
		2.5.2
	

	
		
			mvn-repo
			http://maven.nlpcn.org/
		
	

	

		
			jdk.tools
			jdk.tools
			1.7
			system
			${JAVA_HOME}/lib/tools.jar
		

		
		
			org.apache.spark
			spark-core_2.10
			1.5.2
		

		
			org.apache.spark
			spark-sql_2.10
			1.5.2
		

		
			org.apache.spark
			spark-mllib_2.10
			1.5.2
		

		
		
			org.apache.hbase
			hbase-client
			1.1.4
		

		
			org.apache.hbase
			hbase-common
			1.1.4
		

		
			org.apache.hbase
			hbase-server
			1.1.4
		

		
		
			org.ansj
			ansj_seg
			5.0.1
		

	

	
		
			
				org.scala-tools
				maven-scala-plugin
				2.15.2
				
					
						
							compile
							testCompile
						
						
							
								-dependencyfile
								${project.build.directory}/.scala_dependencies
							
						
					
				
			

			
				org.apache.maven.plugins
				maven-compiler-plugin
				3.3
				
					1.7
					1.7
				
			

			
				org.apache.maven.plugins
				maven-assembly-plugin
				2.5.3
				
					
						src/main/resources/assembly/outer-lib.xml
						src/main/resources/assembly/inner-cls.xml
					
					false
					
						
							true
							lib/
							pxene.NaiveBayes4Weixin
						
					
				
				
					
						assembly
						package
						
							single
						
					
				
			
		
	

inner-cls.xml

	inner-cls
	
		jar
	
	false
	
		
			${project.basedir}/target/classes/
			/
			
				**/*.class
				**/*.scala
				*.properties
				*.yaml
				*.xml
			
		
	
	
		
			/
			
				org.apache.spark:spark-core_2.10
				org.apache.spark:spark-sql_2.10
				org.apache.spark:spark-mllib_2.10
			
			true
		
	

outer-lib.xml