spark shell 仅在测试和验证我们的程序时使用的较多，在生产环境中，通常会在IDE中编制程序，然后打成jar包，然后提交到集群，最常用的是创建一个Maven项目，利用Maven来管理jar包的依赖
1、打开IDEA工具
2、单击Plugins
3、单击Install plugin from disk
4、选择scala的plugins
5、Restart IntelliJ IDEA
6、创建一个项目
7、选择maven项目→ Next
8、填写GroupId 和 ArtifactId → Next
9、填写项目名称 → Finish
10、选择Enable Auto-Import
11、为项目添加scala的framework
尖叫提示：创建的maven项目默认是不支持scala
12、选择scala进行配置
13、配置Maven 的 pom.xml
4.0.0
com.victor
spark
1.0-SNAPSHOT
1.2.17
1.7.22
2.18.2
2.1.1
2.11.8
2.8.2
org.scala-lang
scala-library
${scala.version}
org.apache.spark
spark-core_2.11
${spark.version}
org.apache.hadoop
hadoop-client
${hadoop.version}
org.slf4j
jcl-over-slf4j
${slf4j.version}
org.slf4j
slf4j-api
${slf4j.version}
org.slf4j
slf4j-log4j12
${slf4j.version}
log4j
log4j
${log4j.version}
wordcount
net.alchim31.maven
scala-maven-plugin
3.2.2
compile
testCompile
org.apache.maven.plugins
maven-assembly-plugin
3.0.0
com.victor.spark.WordCount
jar-with-dependencies
make-assembly
package
single
14、将src/main/scala设置成源代码目录
（1）New -> Directory
（2）scala -> ok
（3）Open Module Settings
（4）scala -> Sources
15、添加IDEA Scala
执行此操作后，pom文件中不用添加scala依赖，因为已经以lib库的方式加入
（1）File -> Project Structure
（2）Global Libraries -> + -> Scala SDK
（3）System Scala -> ok
（4）Global Libraries -> Scala -> Add to Modules ...
16、新建一个Scala的WordCount类
（1）New -> Scala Class
（2）WordCount -> Object -> ok
17、编写程序
package com.victor.spark
import org.apache.spark.{SparkConf, SparkContext}
import org.slf4j.LoggerFactory
object WordCount {
val logger = LoggerFactory.getLogger(WordCount.getClass)
def main(args: Array[String]) {
//创建SparkConf()并设置App名称， local或local[*],*表示多线程
//打成jar包，放到集群上运行，
//".setMaster("local[*]")"注释掉就可以了，最好不要写死
val conf = new SparkConf().setAppName("WC").setMaster("local[*]")
//创建SparkContext，该对象是提交spark App的入口
val sc = new SparkContext(conf)
//使用sc创建RDD并执行相应的transformation和action
sc.textFile(args(0)).flatMap(_.split(" "))
.map((_,1)).reduceByKey(_+_, 1)
.sortBy(_._2, false).saveAsTextFile(args(1))
logger.info("complete!")
//停止sc，结束该任务
sc.stop()
}
}
18、使用Maven打包，修改pom.xml
19、打包
20、编译成功的jar包，上传到服务器节点上
21、启动集群
（1）启动HDFS
[victor@node1 hadoop-2.8.2]$ sbin/start-dfs.sh
（2）启动spark
[victor@node1 spark]$ sbin/start-all.sh
22、使用spark-submit命令提交Spark应用
1）spark-submit
上传hdfs 数据
[victor@node1 hadoop]$ bin/hdfs dfs -put README.txt /
spark submit 提交
[victor@node1 spark]$ bin/spark-submit \
> --class com.victor.spark.WordCount \
> --master spark://node1:7077 \ （--master local[*]）//本地多线程执行
> --executor-memory 1G \
> --total-executor-cores 2 \
> wordcount.jar \
> hdfs://node1:9000/RELEASE \
> hdfs://node1:9000/RWC_out
尖叫提示：注意参数的顺序
一个jar 就是一个Application
一个Action 操作就是一个job
每个job又分多个task组
每个task组就称为stage
每个task又被分配到多个节点上
由Executor执行
每个task只能执行在一个节点的一个分区上
多个task并行计算一个RDD
2）参数解析
（1）--class 指定jar包中的主类
（2）--master 指定集群的地址
（3）--deploy-mode 可选，默认是client模式，注意client模式和cluster模式的区别
（4）--conf 指定配置属性
（5）指定jar包地址
（6）指定jar包的参数
3）提交的组件总结
Standalone模式
（1）Master：整个集群的管理器，负责分配资源，单独的JVM进程
（2）Worker：负责管理Executor，单独的JVM进程
（3）Driver：负责提交Jar包的客户端，
（4）client模式：Driver运行在提交端
（5）cluster模式：Driver运行在某一个Executor中。
（6）Executor：具体执行任务的容器，单独的JVM进行。
cluster大部分应用于企业开发，client应用于Debug测试
Yarn模式
（1）ResourceManager
（2）NodeManager
（3）我不用启动Spark集群
（4）client模式：Driver运行在提交端
（5）cluster模式：spark app master 在Executor 运行
23、查看程序执行结果
[victor@node1 hadoop-2.8.2]$ bin/hadoop fs -cat /RWC_out/*
(-Psparkr,1)
(Spark,1)
(-Pyarn,1)
(Build,1)
(built,1)
(-DzincPort=3036,1)
(flags:,1)
(-Phive-thriftserver,1)
(-Pmesos,1)
(for,1)
(-Phive,1)
(2.7.3,1)
(-Phadoop-2.7,1)
(2.2.0,1)
(Hadoop,1)
尖叫提示：hdfs dfs -cat hdfs://node1:9000/RWC_out/p* 方式查看也可以
Job
Stage