idea scala spark 开发环境搭建

1、安装jdk1.8、IDEA

jdk和IDAE安装请自行百度

2、安装scala

下载地址：https://www.scala-lang.org/download/2.11.12.html

下载解压到D:\jdk\scala-2.11.12，并配置环境变量SCALA_HOME，在path下追加%SCALA_HOME%\bin

3、spark环境安装

下载地址：https://spark.apache.org/downloads.html

 下载解压到D:\jdk\spark-2.4.3-bin-hadoop2.7，并配置环境变量SPARK_HOME，在path下追加%SPARK_HOME%\bin

4、hadoop环境安装

下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.6/

下载解压到D:\jdk\hadoop-2.7.6，并配置环境变量HADOOP_HOME，无需在path下追加

下载hadoop插件：hadoop.dll和winutils.exe，地址：https://download.csdn.net/download/sxjxrxm/11304408

解压拷贝到D:\jdk\hadoop-2.7.6\bin下

5、IDEA安装scala插件

“Configure” -> "plugins"

6、IDEA配置maven

maven安装请自行百度

7、创建项目

添加scala相关JDK，File->Project Structure->Libaries

添加scala的Sources目录

修改pom.xml文件

    4.0.0

    com.sparkDemo
    sparkDemo
    1.0-SNAPSHOT

    
        2.4.3
        2.7.6
        2.11.12
    

    
        
            org.apache.spark
            spark-core_2.11
            ${spark.version}
        
        
            org.apache.spark
            spark-sql_2.11
            ${spark.version}
        
        
            org.apache.hadoop
            hadoop-client
            ${hadoop.version}
        

        
            mysql
            mysql-connector-java
            6.0.6
        

    

    
        src/main/scala
        
            
                src/main/resources
            
        
            
                org.scala-tools
                maven-scala-plugin
                2.15.2
                
                    
                        
                            compile
                            testCompile
                        
                    
                
            

            
                maven-compiler-plugin
                3.6.0
                
                    1.8
                    1.8
                
            

            
                org.apache.maven.plugins
                maven-surefire-plugin
                2.19
                
                    true
                
            

        
    

 编写WordCount.scala测试

package com.bdsoft

import java.io.File

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext

object WordCount {

  def main(args: Array[String]) {
    System.setProperty("hadoop.home.dir", "D:\\jdk\\hadoop-2.7.6")
    val resourcesPath = "src/main/resources/"

    val sparkConf = new SparkConf().setMaster("local").setAppName("sparkDemo");
    val sc = new SparkContext(sparkConf);

    val textFile = sc.textFile(resourcesPath + "word.txt")
    val counts = textFile.flatMap(line => line.split(" "))
      .map(word => (word, 1))
      .reduceByKey(_ + _)
    
    // 输出目录存在则先删除
    val file = new File(resourcesPath +"word_result")
    if (file.exists()) {
      val listfiles = file.listFiles()
      listfiles.foreach(_.delete())
      file.delete()
    }
    counts.saveAsTextFile(resourcesPath +"word_result")
  }
}

在resources目录下放word.txt文件

运行main方法时设置jvm的大小： -Xmx512M （防止报错）

运行结果如下：