Spark-Java独立应用编程--理解：

条件：maven、java应用程序代码、pom.xml

 

-pom.xml文件 

 1 <project>
 2     <groupId>edu.berkeleygroupId>
 3     <artifactId>simple-projectartifactId>
 4     <modelVersion>4.0.0modelVersion>
 5     <name>Simple Projectname>
 6     <packaging>jarpackaging>
 7     <version>1.0version>
 8     <repositories>
 9         <repository>
10             <id>Akka repositoryid>
11             <url>http://repo.akka.io/releasesurl>
12         repository>
13     repositories>
14     <dependencies>
15         <dependency> 
16             <groupId>org.apache.sparkgroupId>
17             <artifactId>spark-core_2.12artifactId>
18             <version>3.0.0-preview2version>
19         dependency>
20     dependencies>
21 project>

 

程序依赖Spark Java API,因此我们需要通过Maven进行编译打包。

在./sparkapp2中新建文件pom.xml(vim ./sparkapp2/pom.xml),添加内容如下，声明该独立应用程序的信息以及与Spark的依赖关系

使用Maven打包java程序

将生成的jar包通过spark-submit提交到Spark中运行

 

学习参考：

http://dblab.xmu.edu.cn/blog/1311-2/