IntelliJ IDEA下使用Maven构建Scala 项目

IntelliJ IDEA下使用Maven构建Scala 项目

• 1使用Maven管理项目在JavaEE用的非常多，而且也特别好用，开发Spark项目也不例外，虽然spark项目也可以使用python语言开发，而Scala语言开发Spark项目的首选。因此需要构建Maven-Scala项目来开发Spark项目，这里采用的是intellij2017版本进行开发。
• IDEA下载链接 ： https://www.jetbrains.com/idea/download/
• 安装直接下一步即可
• 下面使用intellij构建maven-scala项目来开发scala项目，并且编写一个wordcount程序进行测试

1.首先需要在IntelliJ IDEA下安装 Scala 插件

链接：https://mp.csdn.net/postedit/85002236

2.scala插件安装完毕之后，maven下scala项目的创建

    ①.首先新建一个maven项目

    

        

    ②.起好名字然后next，

    

    ③.选好存放位置（也可以按默认），点击完成。这样我们一个新的maven共产就创建好了，默认是Java的，没关系后面我们再添加scala与spark的依赖

     

3.修改Maven项目的pom.xml文件，增加scala与spark的依赖

    4.0.0

    com.wp
    Maven_Scala
    1.0-SNAPSHOT


    
        UTF-8
        2.1.0
        2.11.0
        2.9.1
    

    
        
            org.apache.spark
            spark-core_${scala.version}
            ${spark.version}
        
        
            org.apache.spark
            spark-sql_${scala.version}
            ${spark.version}
        
        
            org.apache.spark
            spark-hive_${scala.version}
            ${spark.version}
        
        
            org.apache.spark
            spark-streaming_${scala.version}
            ${spark.version}
        
        
            org.apache.spark
            spark-streaming-kafka_${scala.version}
            ${spark.version}
        
        
            org.apache.spark
            spark-mllib_${scala.version}
            ${spark.version}
        
    
        
            org.apache.hadoop
            hadoop-client
            2.9.1
        

        
            mysql
            mysql-connector-java
            5.1.39
        
        
            junit
            junit
            4.12
        
    

    
    
        
            central
            Maven Repository Switchboard
            default
            http://repo2.maven.org/maven2
            
                false
            
        
    

    
        src/main/scala
        src/test/scala

        
            
                
                org.apache.maven.plugins
                maven-compiler-plugin
                3.2
                
                    1.7
                    1.7
                    UTF-8
                
            
        
    

注：如果该pom.xml文件中spark版本出现问题，可以手动的导入相关依赖

4.删除src下的java文件夹，新建一个scala文件夹，并设置源文件夹

5.添加SDK:选择对应的版本进行添加

 

6.环境搭建完毕后，开始编写一个wordcount的测试案例（需在对应的目录下建一个文件，用于单词统计）：

新建一个单例对象，编写如下代码：

package com.wp

import org.apache.spark.SparkContext
import org.apache.spark.SparkConf

object WordCount {
  def main(args: Array[String]) {
    //在电脑对应路径下应有一个用于存放单词的文件
    val inputFile = "file:///E:/input/SparkInput/input1/"
    val conf = new SparkConf().setAppName("WordCount").setMaster("local[2]")

    val sc = new SparkContext(conf)
    val textFile = sc.textFile(inputFile)
    val wordCount = textFile.flatMap(line => line.split(" ")).map(word => (word, 1)).
      reduceByKey((a, b) => a + b)

    //将统计结果打印到控制台上
    wordCount.collect().foreach(println)
  }
}

 

运行该程序，控制台打印结果如下：

到此，使用maven构建一个scala项目就完成了！！！