基于IntelliJ IDEA开发Spark的Maven项目——Scala语言

基于IntelliJ IDEA开发Spark的Maven项目——Scala语言

1、Maven管理项目在JavaEE普遍使用，开发Spark项目也不例外，而Scala语言开发Spark项目的首选。因此需要构建Maven-Scala项目来开发Spark项目，本文采用的工具是IntelliJ IDEA 2016，IDEA工具越来越被大家认可，开发java, python ,scala 支持都非常好

下载链接 ： https://www.jetbrains.com/idea/download/

安装直接下一步即可

2、安装scala插件，File->Settings->Editor->Plugins,搜索scala即可安装

可能由于网络的原因下载不了，可以采取离线安装的方式，例如：

提示下载失败后，根据提示的地址下载离线安装包 http://plugins.jetbrains.com/files/631/24825/python-145.86.zip

在界面选择离线安装即可：

3、创建Maven工程，File->New Project->Maven

选择相应的JDK版本，直接下一步

设定Maven项目的GroupId及ArifactId

创建项目的工程名称，点击完成即可

创建Maven工程完毕，默认是Java的，没关系后面我们再添加scala与spark的依赖

4、修改Maven项目的pom.xml文件，增加scala与spark的依赖

    4.0.0

    com.ganymede
    sparkplatformstudy
    1.0-SNAPSHOT

    
        UTF-8
        1.6.0
        2.10
        2.6.0
    

    
        
            org.apache.spark
            spark-core_${scala.version}
            ${spark.version}
        
        
            org.apache.spark
            spark-sql_${scala.version}
            ${spark.version}
        
        
            org.apache.spark
            spark-hive_${scala.version}
            ${spark.version}
        
        
            org.apache.spark
            spark-streaming_${scala.version}
            ${spark.version}
        
        
            org.apache.hadoop
            hadoop-client
            2.6.0
        
        
            org.apache.spark
            spark-streaming-kafka_${scala.version}
            ${spark.version}
        
        
            org.apache.spark
            spark-mllib_${scala.version}
            ${spark.version}
        
        
            mysql
            mysql-connector-java
            5.1.39
        
        
            junit
            junit
            4.12
        
    

    
    
        
            central
            Maven Repository Switchboard
            default
            http://repo2.maven.org/maven2
            
                false
            
        
    

    
        src/main/scala
        src/test/scala

        
            
                
                org.apache.maven.plugins
                maven-compiler-plugin
                3.3
                
                    1.7
                    1.7
                    UTF-8
                
            
        
    

5、删除项目的java目录，新建scala并设置源文件夹

添加scala的SDK

添加scala的SDK成功

6、开发Spark实例

测试案例来自spark官网的mllib例子 http://spark.apache.org/docs/latest/mllib-data-types.html

import org.apache.spark.{SparkConf, SparkContext}

/**
  * Created by wuke on 2016/7/5.
  */
object LoadLibSVMFile extends App{
  import org.apache.spark.mllib.regression.LabeledPoint
  import org.apache.spark.mllib.util.MLUtils
  import org.apache.spark.rdd.RDD

  val conf = new SparkConf().setAppName("LogisticRegressionMail").setMaster("local")

  val sc = new SparkContext(conf)
  val examples: RDD[LabeledPoint] = MLUtils.loadLibSVMFile(sc, "data/mllib/sample_libsvm_data.txt")

  println(examples.first)
}

测试通过

7、打包编译，线上发布

注意选择依赖包