Spark blockmanager架构

从Application启动的角度来观察BlockManager运行

1.在Application启动的时候，会在SparkEnv中注册BlockManagerMaster以及MapOutputTracker，其中

 a>BlockManagerMaster：对整个集群的Block数据进行管理

 b>MapOutputTrackerMaster：跟踪所有的Mapper的输出的

2.BlockManagerMasterEndpoint本身是一个消息体，会负责通过远程消息通信的方式去管理所有节点的BlockManager；

3.每启动一个ExecutorBankend都会实例化BlockManager并通过远程通信的方式注册给BlockManagerMaster。实质上是Executor中的BlockManager在启动的时候注册给了Driver上的BlockManagerMasterEndpoint

4.MemoryStore是BlockManager中专门负责内存数据存储和读写的类

5.DiskStore：是BlockManager中专门负责基于磁盘的数据存储和读写的类

6.DiskStoreManager：管理Logical Block与Disk上的Physical Block之间的映射关系并负责磁盘的文件的创建、读写等

从Job运行时的角度来观察BlockManager运行

1.首先通过MemoreStore来存储广播变量

2.在Driver中通过BlockManagerInfo来管理集群中的每个ExecutorBackend中的BlockManager中的元数据信息

3.当改变了具体的ExecutorBackend上的Block信息后就必须发消息给Driver中的BlockManager来更新相应的BlockManagerInfo

4.当执行第二个Stage的时候，第二个Stage会向Driver中的MapOutputTrackerMasterEndpoint发消息请求上一个Stage中的相应的输出，此时MapOutputTrackerMaster会把上一个Stage的输出数据的元数据信息发送给当前请求的Stage