spark 本地调试运行WordCount（java版local模式）

1 背景

之前工作都是把spark程序打包好，上传到公司的集群环境后进行代码调试！一个spark程序用maven打包后往往有100M左右，上传调试很不方便。spark可以local单机运行，所以就在eclipse上搭建了一个单机调试环境。

2 环境配置

  首先需要配置java（版本：1.8）以及maven(版本：3.3.9)环境，版本不要求一致，也可使用其他java和maven版本配置开发环境。这两者配置在此不做介绍。
1. Window 7 下装hadoop 2.6.4，需要下载两个文件：
  Hadoop：hadoop-2.6.4.tar.gz
  下载地址：http://hadoop.apache.org/releases.html
  Hadoop-Common：hadoop2.6(x64)V0.2.zip(2.4以后)、(hadoop-common-2.2.0-bin-master.zip)
  下载地址：http://download.csdn.net/detail/myamor/8393459
2. 配置hadoop_home环境变量
  把hadoop-2.6.4.tar.gz解压到某个路径，如：D:\hadoop-2.6.4。新建HADOOP_HOME，并把%HADOOP_HOME%\bin加到path中。环境变量配置流程，如下图。


3.拷贝Hadoop-Common 下的文件
  官方下载的Apache hadoop 2.6.4的压缩包里，缺少windows下运行的链接库（hadoop.dll，winutils.exe，libwinutils.lib等）。下载Hadoop-Common后直接解压，把里面的文件全部拷贝到官方hadoop目录下的bin目录即可。
  缺少winutils.exe，否则运行会报如下错误：
  java.io.IOException: Could not locate executable D:\hadoop-2.6.4\bin\winutils.exe in the Hadoop binaries.

3 maven pom 依赖

    <dependency>
        <groupId>jdk.toolsgroupId>
        <artifactId>jdk.toolsartifactId>
        <version>1.8version>
        <scope>systemscope>
        <systemPath>${JAVA_HOME}\lib\tools.jarsystemPath>
    dependency>
    <dependency>
         <groupId>org.apache.sparkgroupId>
         <artifactId>spark-core_2.10artifactId>
         <version>1.6.1version>
     dependency>

4 代码

经典案例，词频统计。

import java.util.ArrayList;
import java.util.Arrays;
import java.util.List;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.FlatMapFunction;
import org.apache.spark.api.java.function.Function2;
import org.apache.spark.api.java.function.PairFunction;
import scala.Tuple2;

public class WordCount {

public static void main(String[] args) {
    SparkConf conf = new SparkConf().setMaster("local").setAppName("wordCountTest");
    JavaSparkContext sc = new JavaSparkContext(conf);
    String outputDir=args[0];

    List list=new ArrayList();
    list.add("1 1 2 a b");
    list.add("a b 1 2 3");
    JavaRDD RddList=sc.parallelize(list);

    //先切分为单词，扁平化处理
    JavaRDD flatMapRdd = RddList.flatMap(new FlatMapFunction() {
        @Override
        public Iterable call(String str) {
            return Arrays.asList(str.split(" "));
        }
    });

    //再转化为键值对
    JavaPairRDD pairRdd = flatMapRdd.mapToPair(new PairFunction() {
        public Tuple2 call(String word) throws Exception {
            return new Tuple2(word, 1);
        }
    });

    //对每个词语进行计数
    JavaPairRDD countRdd = pairRdd.reduceByKey(new Function2() {
        @Override
        public Integer call(Integer i1, Integer i2) {
            return i1 + i2;
        }
    });
    System.out.println("结果："+countRdd.collect());
    countRdd.saveAsTextFile(outputDir);
    sc.close();
}
}

5 运行以及结果

1. 运行：Eclipse 下Run Configuration输入参数out。注意，输出目录必须不存在，否则报错。
   
2. 结果
   结果1：控制台正常输出，且不报错。
   
   结果2：生成一个out文件
   
   其中part-00000内容为：
   (a,2)
   (b,2)
   (2,2)
   (3,1)
   (1,3)

6 下载

这是jdk 1.8的工程项目，如果不是jdk1.8，需要在pom.xml 中进行修改成对应版本，然后执行 maven –>update project 命令，进行更新
http://download.csdn.net/download/xsdxs/9602880