spark基础（1）
1.spark出现原因
2.spark架构：
spark分为Master节点和slave节点，ApplicationMaster资源调度，Executor执行具体的task；
3.yarn架构
yarn由RM和NM组成，每个在yarn上运行的计算框架只需要实现AM接口，做到不同类型计算框架都可以在yarn运行；
每个运行在yarn上的任务都有一个AM；
AM做到了RM与Driver的桥梁；
具体作业任务由Driver调度；
spark只是一个计算框架，借助hdfs做数据存储，虽然spark有资源调度框架，但是跑在yarn集群上时，都是借助yarn的资源调度；
spark每个任务的driver跑在AM的container中，具体的task也跑在container中，可以做到资源隔离作用；不管是spark，还是MapReduce，都只需要实现AM接口，所有任务都跑在container中；
4、spark运行模式
4.1 Local模式
local模式是运行在一台计算机上面的模式，用于练手和测试；一般有三种格式：
local：默认一个线程；
local[K]：指定K个线程；
local[*]：适配CPU个数个线程；
4.2 独立集群模式
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop102:7077 \
--executor-memory 1G \
--total-executor-cores 2 \
./examples/jars/spark-examples_2.11-2.1.1.jar \
100--master:指定运行环境，是spark集群，还是yarn；独立集群就是spark://hadoop102:7077
4.3 yarn集群模式
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
--executor-memory 1G \
--total-executor-cores 2 \
./examples/jars/spark-examples_2.11-2.1.1.jar \
100--master:指定运行环境，是spark集群，还是yarn；yarn集群就是yarn；
--deploy-mode:将驱动是发送到集群还是在本地客户端运行(提交任务的机器)；
client：driver运行在提交作业的机器上(可以看到程序打印日志)；
cluster：driver运行在集群上某个机器上（看不到日志，只可以看到running状态）,Driver在AppMaster执行；
5.单词统计思想
- 1、一行行读取数据
- 2、对每行数据拆分成词
- 3、对单个单词转换结构为k-v键值对
- 4、对k-v键值对分组统计
scala> sc.textFile("input").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect
res6: Array[(String, Int)] = Array((hello,2), (java,1), (spark,1))
数据流分析：
textFile("input")：读取本地文件input文件夹数据；
flatMap(_.split(" "))：压平操作，按照空格分割符将一行数据映射成一个个单词；
map((_,1))：对每一个元素操作，将单词映射为元组；
reduceByKey(_+_)：按照key将值进行聚合，相加；
collect：将数据收集到Driver端展示。
6、spark跑在yarn模式上
spark跑在yarn上时，spark客户端直接连接yarn，无需构建额外的spark集群；有spark-client，spark-cluster两种模式，其主要区别在于driver运行的位置；clinet模式可以用于调试，日志在提交的窗口显示；
spark运行在yarn上时需要启动HDFS和yarn；
Spark Yarn部署流程：
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
./examples/jars/spark-examples_2.11-2.1.1.jar \
100
