Windows下的第一个Spark程序 HelloWorld

Windows下的第一个Spark程序

准备---------------------------------------------------------------------------------------------

硬件：Lenov thinkpad 440p

OS: windows 7

其他：Spark 1.20,  Scala IDE 4.0.0， Scala 2.11.5

1. 下载 Scala IDE （http://scala-ide.org/download/sdk.html）, 解压缩直接启动。

2. 下载 Scala  （http://www.scala-lang.org/download/），运行安装。

3. 下载 Spark for hadoop 2.4 later，解压缩备用。

4. 下载 winutils.exe , 备用。

开始--------------------------------------------------------------------------------------------

1. 启动Scala IDE

2. 新建Scala Project

3. 新建HelloWorld， 新建Scala Class

import org.apache.spark._
import SparkContext._

object HelloWorld {
  def main(args: Array[String]) {
    if (args.length != 3) {
      println("usage is org.test.WordCount

")
      return
    }
    System.setProperty("hadoop.home.dir", "c:\\work\\hadoop")
    val sc = new SparkContext(args(0), "WordCount",
      System.getenv("SPARK_HOME"), Seq(System.getenv("SPARK_TEST_JAR")))
    val textFile = sc.textFile(args(1))
    val result = textFile.flatMap(line => line.split("\\s+"))
      .map(word => (word, 1)).reduceByKey(_ + _)
    result.saveAsTextFile(args(2))
  }
}