spark场景、优点与架构

• 本部分内容来自于《深入理解spark核心思想与源码分析》第二章

spark 场景

• 相比于Hadoop 的高吞吐，低响应的特点，spark将map.reduce计算的中间结果存在内存中，通过内存计算能极大地提高数据处理的速度，可以支持实时的场景

spark 优点

• 实时计算能力

• 易学（支持python scala R shell 交互，且支持SQL）

• 多个master 节点解决hadoop 单节点故障问题。

spark 模块

• Spark Core : Spark Context 初始化；部署、存储、任务提交执行、计算

• Spark SQL

• Spark Graphx

• SparkStreaming 流式计算处理能力

SparkContext

• Driver Application 执行与输出是通过SparkContext 完成的。通过DAGScheduler创建job,将RDD划分到不同的stage ，提交stage任务。
  

集群部署角度架构

• 主要三部分 Driver ,Cluster Manager,Worker

• 理解Driver 用来提交job 创建划分RDD

• cluster 用来资源的分配与管理，即对当前的任务按照各个worker 目前计算资源进行分配，但是不关心各个worker上面的任务分配-

• worker :创建excutor 将集群分配给自己的任务分发到各个excutor上