Spark--01eclipse java spark环境搭建

前提：

安装 eclipse4.3 EclipseJava EE IDE for Web Developers.Version: Juno Release

安装 jdk1.7

相关组件准备：

第一步：下载spark-1.3.0-bin-hadoop2.6.tgz到本地，并解压在本地目录

       地址为：http://spark.apache.org/downloads.html

这里选择了已经为Hadoop2.4编译好的版本，为了能和Hadoop2.4更好的结合。当然有能力你可自己编译。

 

第二步：下载windows下hadoop工具包（分为32位和64位的），在本地新建一个hadoop目录，必须有 bin目录例如：D:\spark\hadoop-2.6.0\bin

       然后将winutil等文件放在bin目录下

       地址：https://github.com/sdravida/hadoop2.6_Win_x64/tree/master/bin

第三步：配置hadoop和spark的环境变量：

环境配置分两种模式：

 

方式一：

　　1、新建环境变量：

　　　　HADOOP_HOME 例如：D:\spark\hadoop-2.6.0

　　　　SPARK_HOME   例如：E:\spark\spark-2.1.0-bin-hadoop2.7

演示：

1.1.解压缩文件

1.2.系统环境变量配置

1)新建SPARK_HOME。

2)修改Path

3)检测环境变量

 

　　2、将新建的变量加入path中

　　　　例如：%HADOOP_HOME%\bin;%SPARK_HOME%\bin;

方式二：(不推荐)

直接将hadoop和spark的bin目录的绝对路径放入path中

 

测试是否安装成功：

　　spark：在dos命令中输入spark-shell,出现SPARK字形图案，最终出现scala命令行

　　hadoop：在dos命令中输入hadoop

重点：

eclipse中集成spark开发环境：

步骤一：安装scala插件

安装eclipse-scala-plugin插件，下载地址http://scala-ide.org/download/prev-stable.html

解压缩以后把plugins和features复制到eclipse目录，重启eclipse以后即可。

Window -> Open Perspective -> Other…，打开Scala，说明安装成功。

步骤二：安装hadoop插件

1、将hadoop-eclipse-plugin-2.6.0包放入eclipse的plugins目录里，重启eclipse

2、window-->preferences-->搜索hadoop，选中，然后找到hadoop的文件路径

Java Spark WordCountDmeo案例：

在整个操作中，环境搭建重点在于软件和组件的匹配。然后在项目编写中侧重的是jar包依赖。Maven使用中网络环境对整个jar包下载产生严重影响，让笔者爆出很多意外的错误：

1、Caused by: java.lang.ClassNotFoundException:org.spark-project.guava.util.concurrent.ThreadFactoryBu

此错误产生的原因是windows本地的spark并没有配置。guava.util.concurrent.ThreadFactoryBu类属于google.guavajar包；

2、org/apache/commons/configuration/configuration、 

java.lang.ClassNotFoundException:org.apache.hadoop.util.PlatformName等类找不到都有可能是因为maven网络问题导致的jar没有扩展加入进来。

3、整个项目操作总可以适当使用run asàmaven clean、mavenàupdate dependenyce，projectàclean等，个别情况可以考虑重启eclipse解决问题。

 

1、新建maven工程

2、修改POM.xml文件

<projectxmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"   xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">   <modelVersion>4.0.0modelVersion>     <groupId>com.dt.sparkgroupId>   <artifactId>SparkAppsartifactId>   <version>0.0.1-SNAPSHOTversion>   <packaging>jarpackaging>     <name>SparkAppsname>   <url>http://maven.apache.orgurl>     <properties>     <project.build.sourceEncoding>UTF-8project.build.sourceEncoding>   properties>     <dependencies>     <dependency>       <groupId>junitgroupId>       <artifactId>junitartifactId>       <version>3.8.1version>       <scope>testscope>     dependency>     <dependency>        <groupId>org.apache.sparkgroupId>       <artifactId>spark-core_2.10artifactId>       <version>1.3.0version>     dependency>     <dependency>       <groupId>org.apache.sparkgroupId>       <artifactId>spark-sql_2.10artifactId>       <version>1.3.0version>       dependency>     <dependency>       <groupId>org.apache.sparkgroupId>       <artifactId>spark-hive_2.10artifactId>       <version>1.3.0version>     dependency>     <dependency>       <groupId>org.apache.sparkgroupId>       <artifactId>spark-streaming_2.10artifactId>       <version>1.3.0version>     dependency>     <dependency>       <groupId>org.apache.hadoopgroupId>       <artifactId>hadoop-clientartifactId>       <version>2.6.4version>     dependency>     <dependency>       <groupId>org.apache.sparkgroupId>       <artifactId>spark-streaming-kafka_2.10artifactId>       <version>1.3.0version>     dependency>   dependencies>   <build>     <sourceDirectory>src/main/javasourceDirectory>     <testSourceDirectory>src/main/testtestSourceDirectory>       <plugins>       <plugin>         <artifactId>maven-assembly-pluginartifactId>         <configuration>           <descriptorRefs>             <descriptorRef>jar-with-dependenciesdescriptorRef>           descriptorRefs>           <archive>             <manifest>               <mainClass>mainClass>             manifest>           archive>         configuration>         <executions>           <execution>             <id>make-assemblyid>             <phase>packagephase>             <goals>               <goal>singlegoal>             goals>           execution>         executions>       plugin>         <plugin>         <groupId>org.codehaus.mojogroupId>         <artifactId>exec-maven-pluginartifactId>         <version>1.2.1version>         <executions>           <execution>             <goals>               <goal>execgoal>             goals>           execution>         executions>         <configuration>           <executable>javaexecutable>           <includeProjectDependencies>trueincludeProjectDependencies>           <includePluginDependencies>falseincludePluginDependencies>           <classpathScope>compileclasspathScope>           <mainClass>com.dt.spark.AppmainClass>         configuration>       plugin>         <plugin>         <groupId>org.apache.maven.pluginsgroupId>         <artifactId>maven-compiler-pluginartifactId>         <configuration>           <source>1.6source>           <target>1.6target>         configuration>       plugin>       plugins>   build> project>

详细代码WordCount见下一文章，谢谢。