eclipse构建maven+scala+spark工程

eclipse插件安装

eclipse版本：Luna Release(4.4.0)
这里需要安装有关maven和scala的插件。

m2e插件
m2e插件用于提供maven功能。直接在eclipse的Marketplace下载安装，安装后如下图所示：

m2e截图

Scala IDE
Scala IDE用于提供scala语言的开发环境。直接在Marketplace下载安装，安装后如下图所示：

Scala IDE

m2e-scala插件
m2e-scala用来支持scala开发中对maven的一些定制功能。通过eclipse的Install New Software安装。
Install New Software需要输入url，url为：http://alchim31.free.fr/m2e-scala/update-site/

安装过程如下所示：

1. Help->Install New Software

   
   
   

   打开Install New Software

2. 输入m2e-scala下载的url
   这里可以仅勾选第三项（图中红框所示），因为前两项中的m2e，我们已经在上面安装过了。

   
   
   

   m2e-scala下载

3. 安装完成后，可在Help->Installation Details中查看

安装好的m2e-scala

构建eclipse+maven+scala工程

导入scala工程

从下面的url下载现成的scala+maven工程。
url：https://github.com/scala/scala-module-dependency-sample
导入scala-module-dependency-sample-master/maven-sample这个工程。这样，一个scala+maven工程就准备好了。
scala的版本为2.11.5，在pom.xml文件中，如下所示：

 
 2.11.5
 
 2.11
 
 
 
 org.scala-lang
 scala-library
 ${scalaVersion}
 
 ...
 

测试spark本地运行

配置spark依赖包
在pom.xml中添加spark-core及其有关依赖，因为依赖太多，这里只显示一部分。

 
 org.apache.spark
 spark-core_2.11
 1.2.1
 
 
 
 org.apache.curator
 curator-recipes
 2.4.0
 compile
 
 
 netty
 org.jboss.netty
 
 
 
 
 org.apache.hadoop
 hadoop-client
 2.2.0
 compile
 
 
 servlet-api
 javax.servlet
 
 
 
 ...
 

spark-core的详细依赖可以在线查询。这里使用的网址是：http://search.maven.org/
在该网址中搜索spark-core，可以找到其pom文件，如下图所示。

spark-core的pom

编写运行spark代码

1. 新建Scala Object
   右键工程->New->Other...，找到Scala Wizards，选中其中的Scala Object，如下图所示。

   
   
   

   新建Scala Object
   
   

   点击Next，并将该Object起名为SimpleApp。
   新建完成后，在默认的package中将会出现一个SimpleApp.scala文件。

2. 添加spark代码
   在SimpleApp.scala文件中添加如下代码。该代码读取工作目录下的test.txt文件，并统计单词的个数。
   

   
    /* SimpleApp.scala */
    import org.apache.spark.SparkContext
    import org.apache.spark.SparkContext._
    import org.apache.spark.SparkConf
    object SimpleApp {
    def main(args: Array[String]) {
    val logFile = "test.txt" // Should be some file on your system
    val conf = new SparkConf().setAppName("Simple Application").setMaster("local[2]")
    val sc = new SparkContext(conf)
    val logData = sc.textFile(logFile, 2).cache()
    val numAs = logData.filter(line => line.contains("a")).count()
    val numBs = logData.filter(line => line.contains("b")).count()
    println("Lines with a: %s, Lines with b: %s".format(numAs, numBs))
    }
    }
    

3. 运行代码
   在工作目录下准备好test.txt文件，内容如下：
   

   
    a
    b
    

   
   右键SimpleApp.scala->Run as->Scala Application
   控制台的最后一行将输出统计信息：
   

   
    Lines with a: 1, Lines with b: 1
    

到这里，maven+scala+spark的工程就成功构建并且运行了。

一些问题

1. 在pom文件中添加spark-core依赖后，如果不添加spark-core依赖的其他包，工程依然可以编译通过，但是在执行时，会抛出ClassDefNotFound的异常，导致程序终止。

2. 如果本地没有配置好windows环境下的hadoop运行环境，则会抛出下面图中的异常。
   

   

   hadoop环境异常
   
   该异常并不影响程序的本地执行。如果要想解决该异常，则需要配置windows下的hadoop运行环境。
   详细可参考网址：
   http://www.srccodes.com/p/article/38/build-install-configure-run-apache-hadoop-2.2.0-microsoft-windows-os

PS
之前在CSDN上写了一篇同名的东西，搁着也就没管了。后来登上去一看，居然有人留下了一条评论。这有且仅有的一条评论说我写的太乱了。我就温习了一下我曾经的“大作”，确实是，不知所云。
毛病在哪呢？毛病就在没有重点，啥都想说。解决问题期间走的一些弯路、遇到的一些琐碎，全都倒腾了出来。虽然主体的线条还在，但是已经被边边角角的内容淹没了。
就从我的感受来说，对于这类不是理论，而是解决问题的东西，ITers一般都怀着一颗实用的心来看。东西的开头最好就是直指病症，1-2-3-4，嗒哒，搞定！再有什么想补充的问题，想深入的，放在后面来说。我就按照这个想法，将这东西重写了一遍。我觉得，还是有进步的吧。
哈哈，我发现在东西刚刚写完时，我总是感觉良好的，一如当初那篇“不知所云”的东西完成的时候。