搭建scala开发环境

安装scala环境

下载地址 http://www.scala-lang.org/

1.windows下面直接下一步即可

2.linux环境

进入官网下载，配置环境变量即可

---

安装eclipes版本的spark开发环境

1.下载eclipse for scala

http://scala-ide.org/download/prev-stable.html

或者 安装scala插件

安装eclipse-scala-plugin插件，下载地址http://scala-ide.org/download/prev-stable.html
解压缩以后把plugins和features复制到eclipse目录，重启eclipse以后即可。

或者 在eclipsemarket中选择自动下载

或者 在Eclipse中，依次选择“Help” –> “Install New Software…”，在打开的卡里填入
http://download.scala-ide.org/sdk/lithium/e38/scala211/stable/site/，并按回车键，可看到以下内容，选择前两项进行安装即可。

Paste_Image.png

注： 如果使用了其它版本eclipse,则在以下主页
http://scala-ide.org/download/current.html
找到eclipse版本对应的scala插件。

遇到的问题

Description Resource Path Location Type
More than one scala library found in the build path (/home/hadoop/eclipse/plugins/org.scala-lang.scala-library_2.11.8.v20160304-115712-1706a37eb8.jar, /home/hadoop/spark-1.4.0-bin-hadoop2.6/lib/spark-assembly-1.4.0-hadoop2.6.0.jar).At least one has an incompatible version. Please update the project build path so it contains only one compatible scala library. testsala Unknown Scala Classpath Problem

在eclipse project--》propoties--》scala版本修改

---

windows下开发环境搭建

1、环境

IntelliJ 15.0.2    hadoop2.7   spark1.4.0  scala 2.11.4  JDK1.7

IntelliJ 安装好后 ，安装scala插件
依次选择“Configure”–> “Plugins”–> “Browse repositories”，输入scala，然后安装即可。由于网速问题或者其他问题，安装会不成功。这时候下载scala-intellij-bin-2.2.0.zip放到plugins文件夹下即可

2、windows下搭建开发环境

在intellij IDEA中创建scala project，并依次选择“File”–> “project structure” –> “Libraries”，选择“+”，将spark-hadoop 对应的包导入，比如导入spark-assembly_2.10-0.9.0-incubating-hadoop2.2.0.jar（只需导入该jar包，其他不需要），如果IDE没有识别scala 库，则需要以同样方式将scala库导入。之后开发scala程序即可：

3、编写Scala版本的wordcount

  object Spark { 
     def main(args :Array[String]): Unit ={    if(args.length==0){      
            System.err.println("参数错误 ！！！")    
          System.exit(1)  
      }   
     //创建一个scala版本的
      SparkContext   val conf =new  SparkConf().setAppName("wordCount")  
      val sc=new SparkContext(conf)
      val input =sc.textFile(args(0))    
      val words =input.flatMap(line => line.split(" "))   
      val counts=words.map(word => (word,1)).reduceByKey{case(x,y) => x + y }   
      counts.saveAsTextFile(args(1))  
}
}

配置运行参数

Paste_Image.png

运行结果如图

Paste_Image.png

打成Jar包

依次选择“File”–> “Project Structure” –> “Artifact”，选择“+”–> “Jar” –> “From Modules with dependencies”，选择main函数，并在弹出框中选择输出jar位置，并选择“OK”。
最后依次选择“Build”–> “Build Artifact”编译生成jar包

Paste_Image.png

jar包在spark集群上运行

./bin/spark-submit --class "SimpleApp" --master local[4] myApp/study-scala.jar