BlockManager原理

Driver中的Block：
Driver > DAGScheduler > BlockManagerMaster > BlockManagerInfo > BlockStatus 

BlockManagerMaster
位置：存在于Driver上
功能：负责对各个节点上的BlockManager内部管理的数据的元数据进行维护
例如：block的增删改等操作，都会在此维护元数据的变更

BlockManager
位置：存在于每个节点上
关键组件：
DiskStore：负责对磁盘上的数据进行读写
MemoryStore：负责对内存中的数据进行读写
ConnectionManager：负责建立BlockManager到远程其它节点的BlockManager的网络连接
BlockManagerWorker：负责对远程其它节点的BlockManager的数据的读写

BlockManager与BlockManagerMaster之间的关系：
1.注册机制：
每个BlockManager创建后，第一件事就是向 BlockManagerMaster去进行注册，此时BlockManagerMaster会为起创建对应的BlockManagerInfo。

2.写入机制
使用BlockManager进行写操作时，比如RDD运行过程中的一些中间数据，或者手动指定了 persist（），优先将数据写入内存中。如果persist（）指定了 replicate操作，它就会将数据备一份到其它节点的BlockManager

3.读取机制：
在进行 Shuffle Read操作时，利用ConnectionManager于有数据的BlockManager尽力连接，然后用BlockManagerWorker从远程BlockManager上去读取数据

4.同步维护机制：
只要BlockManger执行了数据的增删改操作，那么就将block的BlockStatus上报道BlockManagerMaster上去，它会为指定的BlockManager的ManagerInfo内部的BlockStatus进行相应操作，从而达到元数据的维护功能

replicate：英 ['replɪkeɪt]  vt. 复制；折叠 
persist:英 [pə'sɪst] 持续