38 Sparkcore中的BlockManager
主要内容：
1. BlockManager 运行实例
2. BlockManager 原理流程图
37中的回顾：
首先讲解了Task内部具体执行的流程；然后介绍了Driver是如何对Executor处理后的Task执行的结果进行进一步的处理的。
从上一讲的内容可以看出在Shuffle过程中要读写数据（即上一个Stage的数据）时需要BlockManager的参与，因此为了了解Spark中程序的运行，掌握BlockManager部分的处理流程及方法十分重要。
一、BlockManager 运行实例
首先，这里通过实例来讲解BlockManger的运行过程。
当我们运行了Spark-shell时，可以从web控制台看见如下内容:
图38-1 web控制台信息
从图中可以发现Job的调度模式为FIFO，这是为了确保当前程序最快速最稳定的执行完成。
下面我们来看看日志信息：
图38-2 日志信息
1.注册BlockMangerMaster和MapOutputTracker
在Application启动时会实例化SparkContext（SparkEnv），并在其中注册Blockmanager以及MapOutputTracker。其中：
(1) BlockManagerMaster
对整个集群的Block数据进行管理，Block是Spark处理数据的基本单位，其与数据存储在哪里无关。具体注册过程见下列代码：
(2) MspOutputTakerMaster
主要用于跟踪所有的Mapper的输出的。
图38-3日志信息2
2. BlockManagerMasterEndpoint注册与管理
其本身是一个消息循环体，会负责通过远程消息通信的方式去管理所有的节点的BlockManager。
& 构造BlockmangerMaster时，其内部有个成员是BlockManagerMasterEndpoint。
BlockManagerMasterEndpoint是BlcokManagerMaster的一个成员，在BlockManagerMaster实例化时产生，并开始接收其他BlcokManager向它发送注册信息。
3.注册BlockManager
首先来看下相关日志信息：
图38-4日志信息3
每次启动一个ExecutorBackend都会实例化BlockManager，并通过远程通信的方式注册给BlockManagerMaster；但是实质上是Executor中的BlockManager在启动的时候注册给了Driver上的BlockManagerMasterEndpoint。
& ？这里的BlockManagerMaster需要做HA吗？
& 首先，BlockManagerMaster是Driver中一个普通的对象，在集群运行的时候，我们一般无法对一个对象作HA，但可以对进程作HA。那么，我们可以让Driver运行在集群中（集群模式）。这时，可以指定Supervise关键字，通过spark-submit启动Application。当Driver挂掉时，Master就可以将Driver恢复。
补充：与BlockManager相关的对象
（1）MemoryStore
是BlockManager中专门负责内存数据存储和读写的类。
（2）DiskStore
是BlockManager中专门负责基于磁盘的数据存储和读写的类。
BlockManager最重要的功能是存取数据块是由get和put这两个方法实现的。（可以分为远程的get/put和远程的get/put，BlockManager可以基于MemoryStore、DiskStore或者OffHeap（Tachyon Store））
（3）DiskBlockManager
管理logical Block与磁盘上的physical Block之间的映射关系并负责磁盘的文件的创建、读写等。
其实现代码如下：
二、从作业运行的角度来观察BlockManager
1.广播(BroadCast)
首先，在程序启动开始需要进行广播(包括一些广播变量，主要是一些在内存中已有的数据)，这里的广播是在内存中进行的。所以就需要调用MemoryStore，并通过MomeryStore来存储广播变量。
可以为了更好的理解这一步操作，我们可以通过日志及源码来进一步详细了解。
图38-5日志信息4
2.Driver管理BlockManager
在Driver中通过BlockManagerInfo来管理集群中每个ExecutorBackend中的BlockManager中的元数据信息。
& BlockManagerInfo 其中有BlockManagerId（标明具体的BlockManger）。每个节点每启动一个ExecutorBackend都会相应的有（启动）一个BlockManager。这里的SlaveEndpoint用于BlockManagerMaster与Slave节点上的BlockManager进行通信的。
3.更新BlockManagerInfo信息
当改变了具体的ExecutorBackend上的Block信息后，就必须发消息给Driver中的BlockManagerMaster来更新相应的BlockManagerInfo的信息；
& Stage提交TaskSet会想利用MemoryStore存储广播变量。进而更新BlockManagerInfo。
4.从Driver中读取Block信息
当执行第二个Stage时，第二个Stage会向Driver中的MapOutputTrackerMasterEndpoint发消息会向Driver中的MapOutputTrackerMasterEndpoint发消息，请求上一个Stage中相应的输出。此时MapOutputTrackerMaster会把上一个Stage的输出数据的元数据信息发送给当前请求的Stage；
图38-5日志信息5 shuffle日志
& ？BlockManager与Yarn中nodeManager的区别：
& Yarn中的nodeManager管理的是当前节点的CUP与内存资源的，它是管理物理硬件资源；
& BlockManager管理的是以Block为基础的数据，它是管理数据的。
三、BlockManager运行原理图
__________________________________EOF_______________________________________________