windows 下 intellJ scala sbt 环境搭建

1.intellJ下载
http://www.jetbrains.com/idea/
安装，下一步即可
2.sbt安装
http://www.scala-sbt.org/download.html
下一步安装完后，配置

#download location
-Dsbt.boot.directory=D:/sbt/boot/
-Dsbt.ivy.home=D:/sbt/ivy/
-Dhttp.proxyHost=proxy.zte.com.cn
-Dhttp.proxyPort=80
-Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=256m

在命令行中执行sbt命令，下载依赖jar包。 由于网络的问题，可能导致有些jar包下载失败，所以多执行几次。之后就可以新建工程 了。

修改D:\sbt\bin\sbtsbt-launch.jar，用360压缩打开修改覆盖

image.png

还需要绑定intelli SBT

3.scala 安装

http://www.scala-lang.org/download/
下一步
scala -version 验证

4.集成上面三个

在intellJ plugins界面，可以点击右上角search ->plugins
安装对应的scala 和sbt插件
网络可能有问题，是必须有问题。
http://plugins.jetbrains.com/plugin/?id=1347
进行手工安装
5.创建sbt-scala项目
（1）建立方式： file -> new -> project -> Scala-> SBT 选择jdk SBT scala版本，下面的复选框可以默认

Paste_Image.png

（2）建立目录结构
在工程根目录下建立如下结构的目录：
src/main/scala
src/main/ Java
src/test/scala
src/test/java
File -> Project Structure -> Modules 将src/main/java&scala设为souce目录，把src/test/java&scala设为test目录。

Paste_Image.png

于是，sbt工程就建立好了，可以在里面添加代码文件了。

object HelloWorld {      
def main(args: Array[String]): Unit = {         
println("Hello world")    
  } 
 }

5.spark 运行

需要在windwows解压hadoop包，然后配置HADOOP_HOME环境变量。
再把下面链接中的winUtils.exe 放入到hadoop 的bin目录。
https://github.com/srccodes/hadoop-common-2.2.0-bin

import org.apache.spark.{SparkConf, SparkContext}

object HelloWord {
  def main(args :Array[String]): Unit ={
    if(args.length==0){
      System.err.println("参数错误 ！！！")
      System.exit(1)
    }
    System.setProperty("hadoop.home.dir", "D:\\hadoop-2.7.1");
    //创建一个scala版本的
    val conf =new  SparkConf().setAppName("wordCount").setMaster("local")
    val sc=new SparkContext(conf)
    val input =sc.textFile(args(0))
    val words =input.flatMap(line => line.split(" "))
    val counts=words.map(word => (word,1)).reduceByKey{case(x,y) => x + y }
    counts.collect().foreach(println)
  }
}

6.注意版本问题，不然报错

scala.collection.immutable.HashSet$.empty()Lscala/collection/immutable/HashSet;
hadoop 2.7
spark 1.4
scala 2.10

参考
https://my.oschina.net/u/2277929/blog/794397