（五）win10 Eclipse配置Scala、Spark（详细步骤）

相关内容参考

专栏：大数据入门

【软件安装】（一）win10安装hadoop 2.8.5（详细步骤）

（二）win10 Eclipse上配置Hadoop（详细步骤）

（三）Hadoop简单应用 单词统计

（四）win10安装Scala和Spark

目录

1 Scala

1.1 下载scala IDE

1.2 解压安装

1.3 示例

1.3.1 新建项目          1.3.2 新建代码

【已解决】run as 没有Scala Application

2 Spark

2.1 新建一个scala项目

2.2 配置spark

2.3 处理版本问题   

2.4 示例

---

1 Scala

1.1 下载scala IDE

官网下载

1.2 解压安装

得到的是一个压缩包，解压后，点击eclipse.exe即可安装

1.3 示例

1.3.1 新建项目

1.3.2 新建代码

输入代码，并保存。

object HelloWorld {
    def main(args: Array[String]): Unit = {
        println("Hello, world!")
    }
}

1.4 中间遇到的问题参考【已解决】run as 没有Scala Application

2 Spark

2.1 新建一个scala项目

2.2 配置spark

需要往项目里导入jar包，这个jar包是在之前安装spark目录下的，比如：

确定好位置，开始导入

2.3 处理版本问题

上一步结束后，可以发现项目报错，原因在于jar包的scala版本与我们现用的不符合：

 

降维

项目右键→properties属性→scala compiler

2.4 示例

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.log4j.{Level, Logger}

object one {
  Logger.getLogger("org.apache.spark").setLevel(Level.ERROR)
  def main(args: Array[String]): Unit = {
        val conf = new SparkConf().setAppName("map").setMaster("local");
        val sc = new SparkContext(conf)
        
        // rdd
        var rdd1 = sc.parallelize(1 to 10)
        rdd1.collect()
        // 打印
        rdd1.take(10).foreach(x => println(x))
        sc.stop()
  }
}