Spark
开头别的不多说了，就说Spark为啥存在。他来到这就是为了代替MapReduce的！
MR的缺点
为啥要被代替呢？学过Hadoop知道，Hadoop早期，MR是基于数据集的计算，面向的是数据。基本运算规则是从存储介质中采集数据，然后进行计算，所以它的计算往往是一次性的，这就存在一定的局限性，不适用于数据挖掘和机器学习这样的迭代计算和图形挖掘计算。而且因为文件存储，性能不好！MR和Hadoop耦合，没法换。
后来Hadoop 2.x 就引入了Yarn，这个东西好啊，资源管理器RM（ResourceManager）。这里面有AM（ApplicationMaster）就是应用管理器，AM中的Driver管理NodeManager中的Task。
也就是说：
RM现在管理NodeManager，其中的Driver管理Task，这样实现了解耦。所以这个Task不一定非要是MR任务，此时变成Spark任务或者Flink任务或者Strom任务，都可以！
引入了container，虽然增加了内存的消耗，但是大大提高了扩展性，于是Spark、Flink、Strom才可以搭配使用。
Spark为啥适合？
基于内存计算，由Scala语言开发。
Spark重要角色
1.Driver 驱动器
是执行程序main方法的进程。负责执行SparkContext、创建RDD、以及RDD转化操作和行动操作代码的执行。如果启动Spark Shell，系统会后台启动一个Spark Driver程序就是在Spark Shell中预加载一个SparkContext叫sc。如果驱动器程序终止，那么Spark应用也结束。工作：
- 把用户程序转为JOB
- 跟踪Executor的运行状况
- 为执行器节点调度任务
- UI展示运行情况
2.Executor 执行器
是一个工作进程，负责在Spark作业中运行任务，任务间相互独立。Spark应用启动时，Executor节点被同时启动，伴随Spark应用整个生命周期。如果有Executor节点故障或崩溃，Spark应用也可以继续执行，会将出错节点上的任务调度到其他Executor节点。工作：
- 负责运行组成Spark应用的任务，并将结果返回给驱动器进程
- 通过自身的块管理器(Block Manager)为用户程序中要求缓存的RDD提供内存式存储。RDD是直接缓存在Executor进程内的，所以任务可以再运行时充分利用缓存数据，加速运算。
Spark Yarn-cluster搭建
前提是HDFS和YARN集群正常启动了！
1.先去配置hadoop的yarn-site.xml
是否启动一个线程检查每个任务使用虚拟内存量，如果超出分配值，则直接kill掉，默认true：
yarn.nodemanager.vmem-check-enabled
false
是否启动一个线程检查每个任务使用物理内存量，如果超出分配值，则直接kill掉，默认true：
yarn.nodemanager.pmem-check-enabled
false
2.修改spark-env.sh 添加如下配置
YARN_CONF_DIR=/opt/soft/hadoop-2.7.1/etc/hadoop
去找自己的路径，别乱复制！
3.分发配置文件
把这个配置文件给Slave1和Slave2(其实不发也行，Yarn模式的话一个机器能发Spark就足够了)
4.试一下例子
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
./examples/jars/spark-examples_2.11-2.4.1.jar \
100
日志查看
1.修改配置文件spark-defaults.conf
添加内容：
spark.yarn.historyServer.address=Master:10020
spark.history.ui.port=19888
端口别乱填！根据自己hadoop的mapred-site.xml的配置去对应填写！！！
2.重启Spark历史服务
./sbin/stop-history-server.sh
./sbin/start-history-server.sh
3.提交个任务到YARN看效果
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
./examples/jars/spark-examples_2.11-2.4.1.jar \
100
这回看日志。
YARN部署运行流程：
1.Client 提交任务
2.RM创建ApplicationMaster
3.AM向RM申请资源
4.RM向AM提供资源列表
5.AM选择NM节点并创建Spark执行器对象
6.被选中的NM节点Executor反向注册，通知AM已经准备好执行了。
7.AM分解并调度任务
Spark提交
1.基本语法
bin/spark-submit \
--class \
--master \
--deploy-mode \
--conf= \
... # other options \
[application-arguments]
2.参数说明
--master：指定的Master地址，默认为Local
--class：你的应用启动类 (例如：org.apache.spark.examples.SparkPi)
--deploy-mode：是否发布你的驱动到worker节点(cluster)或者作为本地客户端client。默认是client
--conf：任意的Spark配置属性，格式key=value，如果值包含空格，可以加引号"key=value"。
application-jar：打包好的应用jar包含依赖，这个URL在集群全局可见。
application-argument：传给main方法的参数
--executor-memory 1G 指定每个Executor可用内存1G
写程序
IDEA创建maven项目，然后POM：
pom.xml
4.0.0
com.george.sparktest
sparktest
1.0-SNAPSHOT
org.apache.spark
spark-core_2.12
2.4.1
WordCount
net.alchim31.maven
scala-maven-plugin
3.2.2
compile
testCompile
org.apache.maven.plugins
maven-assembly-plugin
3.0.0
WordCount
jar-with-dependencies
make-assembly
package
single
纯属手敲。。。
然后可以使用Scala开发了。后面可以把程序打成jar包。
idea能看target文件夹里面，有个with-dependencies.jar这个很大，因为依赖都打进去了。
Windows在运行hadoop相关的时候可能会有报错！是个winutils.exe啥啥的，其实不影响我们使用，那个问题主要是源码里有一段这个：
String home = System.getProperty("hadoop.home.dir");
一看就是环境变量的事，HADOOP_HOME为空的话，就会null\bin\winutils.exe。找不到。
所以下载一个common的jar包。配置好环境变量。path添加上%HADOOP_HOME%\bin
听说需要重启？？？
或者还有一个办法：
我们写程序的时候前面加上
System.setProperty("hadoop.home.dir", "D:\\hadoop")
等打包的时候把这个干掉就完事了。。。但是这个要记得删！！！！！！千万别忘！！！！