BlockManagerMaster的作用是对存在于Executor或Driver上的BlockManager进行统一管理。

blockManagerDriver和executor上分别都会启动blockManager，其中driver上拥有所有executor上的blockManager的引用；所有executor上的blockManager

简单的讲，Spark存储体系是各个Driver和Executor实例中的BlockManager所组成的。

简单来讲，Spark存储体系是各个Driver与Executor实例中的BlockManager所组成的；但是从一个整体来看，把各个节点的BlockManager看成存储体系的一部分，那存储体系就有了更多衍生的内容

一、前言1.版本：Hadoop源码版本:Version2.7.1Spark源码版本:Version2.4.1二、分析1.Spark里BlockManager的LOCAL_DIRS在DiskBlockManager

流程图BlockManager原理剖析.pngDriver上，有BlockManagerMaster，它的功能，就是负责对各个节点上的BlockManager内部管理的数据的元数据进行维护，比如Block

前面已经介绍了BlockManager的主要组件，现在来看看BlockManager自身的实现。

MemoryStore负责将没有序列化的java对象数组或者序列化的ByteBuffer存储到内存中：MemoryStore内存模型maxUnrollMemory：当前Driver或者Executor的block最多提前占用的内存的大小，每个线程都能占内存。(类似上课占座，人没到，但是位置有了)maxMemory：当前Driver或者Executor存储所能利用最大内存大小。currentMemo

Driver的BlockManagerMaster对存在与Executor上的BlockManager统一管理。

前一个stage的ShuffleMapTask进行shufflewrite，把数据存储在blockManager上面，并且把数据元信息上报到dirver的mapOutTarck组件中，下一个stage根据数据位置源信息

SparkShuffle文件寻址MapOutputTracker（管理磁盘小文件）主从关系：MapOutputTrackerMaster（Driver）MapOutputTrackerWorker（Executor）BlockManager

（一个RDD是1亿数据，一个RDD是100万数据）其中一个RDD必须是比较小的，broadcast出去那个小RDD的数据以后，就会在每个executor的blockmanager中都驻留一份。

在Task发生调用RDD的compute计算时，其通过iterator进行计算，它会识别是否有缓存数据可以调用，如果没有则通过RDD继续计算；如果有则BlockManager从Local或者Remote

在shuffle中，我们map端的task向磁盘文件写入数据，其实是task所在的executor上分配一个BlockManager的，这个BlockManager管理这些磁盘数据，task会向BlockManager

打开网络策略，运维需要指定端口号，借机了解了spark的两个参数：spark.driver.host、spark.driver.port和spark.blockManager.port。

我们从两个方面，来分析Spark的存储管理：1、Spark存储管理中Block的定义2、BlockManager存储架构Spark存储管理中Block的定义Spark的存储模块负责了Spark计算过程中所有的存储

我们从两个方面，来分析Spark的存储管理：1、Spark存储管理中Block的定义2、BlockManager存储架构Spark存储管理中Block的定义Spark的存储模块负责了Spark计算过程中所有的存储

我们从这个入口开始分析，task对rdd开始处理。finaldefiterator(split:Partition,context:TaskContext):Iterator[T]={/***如果StorageLevel不为NONE，说明RDD之前被我们持久化过了，就不需要重新计算了，尝试使用cacheManager，去获取持久化的数据。***/if(storageLevel!=StorageLe

1.块管理器BlockManager的实现块管理器是Spark存储体系的核心组件，DriverApplication和Executor都会创建BlockManager，源代码位置在core/org.apache.spark.sto

先来张原理图吧!上面的BlockManagerWorker是在1.3之前的版本中才有的,从1.3开始BlockManagerWorker由BlockTransferService替代.  其实BlockManagerMaster的主要工作是交于BlockManagerMasterActor来处理的:/***BlockManagerMasterActorisanactoronthemasternod

Spark目前是大数据领域中最火的框架之一，可高效实现离线批处理，实时计算和机器学习等多元化操作，阅读源码有助你加深对框架的理解和认知本人将依次剖析Spark2.0.0.X版本的各个核心组件，包括以后章节的BlockManager

目前是大数据领域中最火的框架之一，可高效实现离线批处理，实时计算和机器学习等多元化操作，阅读源码有助你加深对框架的理解和认知本人将依次剖析Spark2.0.0.X版本的各个核心组件，包括以后章节的RpcEnv，NettyRpc，BlockManager

实时计算和机器学习等多元化操作，阅读源码有助你加深对框架的理解和认知本人将依次剖析Spark2.0.0.X版本的各个核心组件，包括以后章节的SparkContext，SparkEnv，RpcEnv，NettyRpc，BlockManager

实时计算和机器学习等多元化操作，阅读源码有助你加深对框架的理解和认知本人将依次剖析Spark2.0.0.X版本的各个核心组件，包括以后章节的SparkContext，SparkEnv，RpcEnv，NettyRpc，BlockManager

第38课：BlockManager架构原理、运行流程图和源码解密BlockManager是管理整个Spark运行时数据的读写，包含数据存储本身，在数据存储的基础之上进行数据读写。

sparklocal.spark.driver.hostyarn模式中只设置sparklocal.spark.driver.host和可以启动，但是无法执行任何语句，需要再设置sparkyarn.spark.driver.bindAddress和blockmanager

streamingjob在运行时从stream中读取数据的流程：Receiver运行在executor上接收数据，将数据转交给ReceiverSupervisor，然后ReceiverSupervisor利用blockmanager

GraphX介绍及实例《Spark官方文档》SparkSQL,DataFrames以及Datasets编程指南Spark1.0.x入门指南算法架构SparkGraphX进化的Spark,从DataFrame说起BlockManager

GraphX介绍及实例《Spark官方文档》SparkSQL,DataFrames以及Datasets编程指南Spark1.0.x入门指南算法架构SparkGraphX进化的Spark,从DataFrame说起BlockManager

FSDirectory我们能够知道每个节点对应的路径的真实路径，但假如我们需要对整个存储块信息进行统一归属，那么FSDirectory由于是树状结构的形式，每次查找信息都需要遍历树中的每一个节点，效率太低，因此产生了BlockManager

FSDirectory我们能够知道每个节点对应的路径的真实路径，但假如我们需要对整个存储块信息进行统一归属，那么FSDirectory由于是树状结构的形式，每次查找信息都需要遍历树中的每一个节点，效率太低，因此产生了BlockManager

SparkBroadCastBroadcast简单来说就是将数据从一个节点复制到其他各个节点，常见用于数据复制到节点本地用于计算，在前面一章中讨论过Storage模块中BlockManager，Block

RDD所交互的数据是通过Storage来实现和管理Storage模块整体架构1.存储层在Spark里，单节点的Storage的管理是通过block来管理的，每个Block的存储可以在内存里或者在磁盘中，在BlockManager

一：CacheManager分析：1，CacheManager管理的缓存，而缓存可以是基于内存的缓存，也可以是基于磁盘的缓存；2，CacheManager需要通过BlockManager来操作数据；3，

1，当Executor实例化的时候会通过BlockManager.initialize来实例化Executor上的BlockManager并且创建BlockManagerSlaveEndpoint这个消息循环体来接受

前言在现有的HDFS中，NameNode扮演着一个十分重要的角色。它不仅需要处理集群中所有文件相关的操作（此处可理解为INode相关的操作），它还要处理更小粒度级别的操作，也就是block块级别的操作。随着HDFS的快速迭代发展，它所需要执行的操作也越来越重了。另一方面，一旦集群的数据量规模大幅度扩展的时候，相应的INode文件、block块数据信息将会耗掉NameNode大量的内存，这将会大大降

阅读更多private[spark]abstractclassBlockStore(valblockManager:BlockManager)extendsLogging{defputBytes(blockId

SparkStreaming数据接收优化字数570阅读1206评论1喜欢5看这篇文章前，请先移步SparkStreaming数据产生与导入相关的内存分析,文章重点讲的是从Kafka消费到数据进入BlockManager

阅读更多之前看了Job怎么submit以及最后run的，然后也看了blockmanager是怎么工作的，那么接下来就是要看spark是如何从blockManager中读写数据的。

阅读更多之前看了Job怎么submit以及最后run的，然后也看了blockmanager是怎么工作的，那么接下来就是要看spark是如何从blockManager中读写数据的。

阅读更多前一段时间看了如何划分stage以及如何提交Job，最后把结果返回到Driver端的过程，中间也涉及到了通过blockManager来获取Data等过程。

阅读更多前一段时间看了如何划分stage以及如何提交Job，最后把结果返回到Driver端的过程，中间也涉及到了通过blockManager来获取Data等过程。

前面一片文章介绍了SocketTextStream是如何从blockmanager里面获取block组成blockRDD的，地址：http://humingminghz.iteye.com/admin/

阅读更多前面一片文章介绍了SocketTextStream是如何从blockmanager里面获取block组成blockRDD的，地址：http://humingminghz.iteye.com/admin

阅读更多前面一片文章介绍了SocketTextStream是如何从blockmanager里面获取block组成blockRDD的，地址：http://humingminghz.iteye.com/admin

基于BlockManager来做数据备份，StorageLevel/***CreateainputstreamfromTCPsourcehostname:port.Dataisreceivedusing

基于BlockManager来做数据备份，StorageLevel /**   * Create a input stream from TCP source hostname:port. 

Executor的安全容错主要有：1、数据副本：有两种方式：a.借助底层的BlockManager，BlockManager做备份,通过传入的S

Executor的安全容错主要有：  1、数据副本：     有两种方式：a.借助底层的BlockManager，BlockManage

一：CacheManager分析：1，CacheManager管理的是缓存，而缓存可以是基于内存的缓存，也可以是基于磁盘的缓存；2，CacheManager需要通过BlockManager来操作数据；3