阅读更多一.Linux文件/目录权限http://hi.baidu.com/skyforum/item/9946ef57b371789608be1747，不了解的需要做一个基本的了解。二.FsActionFsAction对应着文件/目录的操作权限。rwx。FsAction犀利之处在于枚举类型里的每一个权限与二进制的对应。有了上面的对应，我们可以组合出所有的权限publicenumFsAction{

一.Linux文件/目录权限    http://hi.baidu.com/skyforum/item/9946ef57b371789608be1747，不了解的需要做一个基本的了解。 二. FsActionFsAction对应着文件/目录的操作权限。rwx。FsAction犀利之处在于枚举类型里的每一个权限与二进制的对应。有了上面的对应，我们可以组合出所有的权限publicenumFsActio

阅读更多一.Linux文件/目录权限http://hi.baidu.com/skyforum/item/9946ef57b371789608be1747，不了解的需要做一个基本的了解。二.FsActionFsAction对应着文件/目录的操作权限。rwx。FsAction犀利之处在于枚举类型里的每一个权限与二进制的对应。有了上面的对应，我们可以组合出所有的权限publicenumFsAction{

阅读更多一.LeaseALeasegovernsallthelocksheldbyasingleclient.*Foreachclientthere'sacorrespondinglease,whose*timestampisupdatedwhentheclientperiodically*checksin.Iftheclientdiesandallowsitsleaseto*expire,all

一. Lease ALeasegovernsallthelocksheldbyasingleclient.  *Foreachclientthere'sacorrespondinglease,whose  *timestampisupdatedwhentheclientperiodically  *checksin. Iftheclientdiesandallowsitsleaseto  *exp

阅读更多一.LeaseALeasegovernsallthelocksheldbyasingleclient.*Foreachclientthere'sacorrespondinglease,whose*timestampisupdatedwhentheclientperiodically*checksin.Iftheclientdiesandallowsitsleaseto*expire,all

阅读更多一.FSImage作用加载硬盘镜像文件fsimage到内存。加载硬盘日志文件edits到内存。这个本来是类FSEditlog的事情，但是是由FSImage负责调用。保存内存中文件层次结构到硬盘文件fsimage中。保存内存中操作日志到硬盘文件edits上。按照对应关系，觉得是应该有这么一步吧。但遗憾的告诉你，这一步在整个文件系统中不存在。也就是FSImage可以分为内存和硬盘的，而edit

一. FSImage作用加载硬盘镜像文件fsimage到内存。加载硬盘日志文件edits到内存。这个本来是类FSEditlog的事情，但是是由FSImage负责调用。保存内存中文件层次结构到硬盘文件fsimage中。保存内存中操作日志到硬盘文件edits上。按照对应关系，觉得是应该有这么一步吧。但遗憾的告诉你，这一步在整个文件系统中不存在。也就是FSImage可以分为内存和硬盘的，而edits只存

阅读更多一.FSImage作用加载硬盘镜像文件fsimage到内存。加载硬盘日志文件edits到内存。这个本来是类FSEditlog的事情，但是是由FSImage负责调用。保存内存中文件层次结构到硬盘文件fsimage中。保存内存中操作日志到硬盘文件edits上。按照对应关系，觉得是应该有这么一步吧。但遗憾的告诉你，这一步在整个文件系统中不存在。也就是FSImage可以分为内存和硬盘的，而edit

阅读更多一.FSEditLog类图二.FSEditLogFSEditLog提供了对editlog文件的操作方法。简单的类，方法一个个看。editStreams保存着一个fsimage下所有的editlog文件对应的输出流EditLogOutputStream。三.FSEditLog方法voidopen()：Createemptyeditlogfiles.Initializetheoutputstr

一. FSEditLog类图 二. FSEditLogFSEditLog提供了对editlog文件的操作方法。简单的类，方法一个个看。editStreams保存着一个fsimage下所有的editlog文件对应的输出流EditLogOutputStream。三. FSEditLog方法voidopen()：Createemptyeditlogfiles.Initializetheoutputstr

阅读更多一.FSEditLog类图二.FSEditLogFSEditLog提供了对editlog文件的操作方法。简单的类，方法一个个看。editStreams保存着一个fsimage下所有的editlog文件对应的输出流EditLogOutputStream。三.FSEditLog方法voidopen()：Createemptyeditlogfiles.Initializetheoutputstr

阅读更多一.FSDirectory上文Hadoop学习二十二：Hadoop-HdfsINode源码讲到INode是文件层次结构的反应。那文件层次结构由谁去维护，就是由FSDirectory维护。我把从客户端发起一个操作到最终完成这一操作所经过的类，依次划分为外层-底层。那FSNamesystem算的上底层的东西，FSDirectory就是更底层的东西。所有会导致文件层次结构变化的操作，如addFi

一. FSDirectory上文Hadoop学习二十二：Hadoop-HdfsINode源码讲到INode是文件层次结构的反应。那文件层次结构由谁去维护，就是由FSDirectory维护。我把从客户端发起一个操作到最终完成这一操作所经过的类，依次划分为外层-底层。那FSNamesystem算的上底层的东西，FSDirectory就是更底层的东西。所有会导致文件层次结构变化的操作，如addFiled

阅读更多一.FSDirectory上文Hadoop学习二十二：Hadoop-HdfsINode源码讲到INode是文件层次结构的反应。那文件层次结构由谁去维护，就是由FSDirectory维护。我把从客户端发起一个操作到最终完成这一操作所经过的类，依次划分为外层-底层。那FSNamesystem算的上底层的东西，FSDirectory就是更底层的东西。所有会导致文件层次结构变化的操作，如addFi

阅读更多一.INode类图二.INodeWekeepanin-memoryrepresentationofthefile/blockhierarchy.ThisisabaseINodeclasscontainingcommonfieldsforfileanddirectoryinodes.INode是文件层次结构的反应。INode两个子类：INodeDirectory代表文件目录；INodeFil

一. INode类图 二. INode     Wekeepanin-memoryrepresentationofthefile/blockhierarchy.ThisisabaseINodeclasscontainingcommonfieldsforfileand directoryinodes.INode是文件层次结构的反应。INode两个子类：INodeDirectory代表文件目录；INo

阅读更多一.INode类图二.INodeWekeepanin-memoryrepresentationofthefile/blockhierarchy.ThisisabaseINodeclasscontainingcommonfieldsforfileanddirectoryinodes.INode是文件层次结构的反应。INode两个子类：INodeDirectory代表文件目录；INodeFil

阅读更多一.DataNode类图二.DateNode属性说明DatanodeProtocolnamenode：RPC代理类。RPC.getProxy(nameNodeAddress)得到远程NameNode代理类。后续的versionRequest()，register()，sendHeartbeat()，blockReceived()，blockReport()都是namenode的行为。org

一. DataNode类图  二. DateNode属性说明 DatanodeProtocolnamenode：RPC代理类。RPC.getProxy(nameNodeAddress)得到远程NameNode代理类。后续的versionRequest()，register()，sendHeartbeat()，blockReceived()，blockReport()都是namenode的行为。or

阅读更多一.DataNode类图二.DateNode属性说明DatanodeProtocolnamenode：RPC代理类。RPC.getProxy(nameNodeAddress)得到远程NameNode代理类。后续的versionRequest()，register()，sendHeartbeat()，blockReceived()，blockReport()都是namenode的行为。org

阅读更多一.VersionedProtocol//使用HadoopRPC机制的所有协议的超类//所有子类所以自己的协议号staticfinallongversionIDpublicinterfaceVersionedProtocol{/***返回与指定协议protocol相关的协议版本*@paramprotocol协议接口的类名*@paramclientVersion客户端欲与服务器进行交互，它所

一. VersionedProtocol //使用Hadoop RPC机制的所有协议的超类 //所有子类所以自己的协议号static final long versionID public interface VersionedProtocol { /** * 返回与指定协议protocol相关的协议版本 * @param protocol 协议接

阅读更多一.VersionedProtocol//使用HadoopRPC机制的所有协议的超类//所有子类所以自己的协议号staticfinallongversionIDpublicinterfaceVersionedProtocol{/***返回与指定协议protocol相关的协议版本*@paramprotocol协议接口的类名*@paramclientVersion客户端欲与服务器进行交互，它所

一.RPC在http://zy19982004.iteye.com/blog/1875969里曾经提到VersionedProtocolv=RPC.getProxy(...);得到一个Java代理类。实际上RPC就是建立在VersionedProtocol的基础上的。二.VersionedProtocol类图 三.工作原理     以Client与NameNode通信为例(本文中，不加特别说明，A

阅读更多一.RPC在http://zy19982004.iteye.com/blog/1875969里曾经提到VersionedProtocolv=RPC.getProxy(...);得到一个Java代理类。实际上RPC就是建立在VersionedProtocol的基础上的。二.VersionedProtocol类图三.工作原理以Client与NameNode通信为例(本文中，不加特别说明，A与B

阅读更多一.RPC在http://zy19982004.iteye.com/blog/1875969里曾经提到VersionedProtocolv=RPC.getProxy(...);得到一个Java代理类。实际上RPC就是建立在VersionedProtocol的基础上的。二.VersionedProtocol类图三.工作原理以Client与NameNode通信为例(本文中，不加特别说明，A与B

一. 其它操作publicstaticfinalbyteOP_REPLACE_BLOCK=(byte)83; publicstaticfinalbyteOP_COPY_BLOCK=(byte)84; publicstaticfinalbyteOP_BLOCK_CHECKSUM=(byte)85; 二.REPLACE_BLOCK Receiveablockandwriteittodisk,itt

阅读更多一.其它操作publicstaticfinalbyteOP_REPLACE_BLOCK=(byte)83;publicstaticfinalbyteOP_COPY_BLOCK=(byte)84;publicstaticfinalbyteOP_BLOCK_CHECKSUM=(byte)85;二.REPLACE_BLOCKReceiveablockandwriteittodisk,itthen

阅读更多一.其它操作publicstaticfinalbyteOP_REPLACE_BLOCK=(byte)83;publicstaticfinalbyteOP_COPY_BLOCK=(byte)84;publicstaticfinalbyteOP_BLOCK_CHECKSUM=(byte)85;二.REPLACE_BLOCKReceiveablockandwriteittodisk,itthen

一.写数据     DataXceiver的writeBlock方法用于客户端(Client或DataNode)的写数据请求。 二.单一流程  读取客户端发送过来的消息(下文称之为“请求参数”)blockId：要写入块的blockid。generationStamp：要写入块的blockgenerationStamp。pipelineSize：numofdatanodesinentirepipel

阅读更多一.写数据DataXceiver的writeBlock方法用于客户端(Client或DataNode)的写数据请求。二.单一流程读取客户端发送过来的消息(下文称之为“请求参数”)blockId：要写入块的blockid。generationStamp：要写入块的blockgenerationStamp。pipelineSize：numofdatanodesinentirepipeline.

阅读更多一.写数据DataXceiver的writeBlock方法用于客户端(Client或DataNode)的写数据请求。二.单一流程读取客户端发送过来的消息(下文称之为“请求参数”)blockId：要写入块的blockid。generationStamp：要写入块的blockgenerationStamp。pipelineSize：numofdatanodesinentirepipeline.

一.DataXceiverServer入口        Hadoop学习十五：Hadoop-HdfsDataXceiverServer源码概述提到DataXceiverServer每接收到一个请求，就创建一个DataXceiver来处理该请求。DataXceiver首先读取请求版本号并检验；然后再读取一个字节的操作码，根据操作码转入相关的子程序进行处理。本文介绍读数据。二.读数据读取客户端发送过

阅读更多一.DataXceiverServer入口Hadoop学习十五：Hadoop-HdfsDataXceiverServer源码概述提到DataXceiverServer每接收到一个请求，就创建一个DataXceiver来处理该请求。DataXceiver首先读取请求版本号并检验；然后再读取一个字节的操作码，根据操作码转入相关的子程序进行处理。本文介绍读数据。二.读数据读取客户端发送过来的信息

阅读更多一.DataXceiverServer入口Hadoop学习十五：Hadoop-HdfsDataXceiverServer源码概述提到DataXceiverServer每接收到一个请求，就创建一个DataXceiver来处理该请求。DataXceiver首先读取请求版本号并检验；然后再读取一个字节的操作码，根据操作码转入相关的子程序进行处理。本文介绍读数据。二.读数据读取客户端发送过来的信息

一.DataXceiverServer类图 二.DataXceiverServer Serverusedforreceiving/sendingablockofdata.ThisiscreatedtolistenforrequestsfromclientsorotherDataNodes. ThissmallserverdoesnotusetheHadoopIPCmechanism.DataXce

阅读更多一.DataXceiverServer类图二.DataXceiverServerServerusedforreceiving/sendingablockofdata.ThisiscreatedtolistenforrequestsfromclientsorotherDataNodes.ThissmallserverdoesnotusetheHadoopIPCmechanism.DataXc

阅读更多一.DataXceiverServer类图二.DataXceiverServerServerusedforreceiving/sendingablockofdata.ThisiscreatedtolistenforrequestsfromclientsorotherDataNodes.ThissmallserverdoesnotusetheHadoopIPCmechanism.DataXc

一.FSDataset类图 二.FSVolumeFSDir物理概念  三.Block Block类只代表一个block的标识，看Block类的属性便知；Block类不代表block文件。blk_1150083481087817002是block；%hadoop_home%/dfs/data/current/blk_115008348108781700是block文件。block包含blockblk

阅读更多一.FSDataset类图二.FSVolumeFSDir物理概念三.BlockBlock类只代表一个block的标识，看Block类的属性便知；Block类不代表block文件。blk_1150083481087817002是block；%hadoop_home%/dfs/data/current/blk_115008348108781700是block文件。block包含blockblk

阅读更多一.FSDataset类图二.FSVolumeFSDir物理概念三.BlockBlock类只代表一个block的标识，看Block类的属性便知；Block类不代表block文件。blk_1150083481087817002是block；%hadoop_home%/dfs/data/current/blk_115008348108781700是block文件。block包含blockblk

阅读更多一.DataStorageDataStorage继承Storage。DataStorage对应Hdfs的dfs.data.dir目录。DataNode启动时，检查恢复状态转换dfs.data.dir下所有的StorageDirectory。二.DataStorage类图三.详细描述org.apache.hadoop.hdfs.server.protocol.NamespaceInfo：Na

一.DataStorageDataStorage继承Storage。DataStorage对应Hdfs的dfs.data.dir目录。DataNode启动时，检查恢复状态转换dfs.data.dir下所有的StorageDirectory。二.DataStorage类图  三.详细描述org.apache.hadoop.hdfs.server.protocol.NamespaceInfo：Name

阅读更多一.DataStorageDataStorage继承Storage。DataStorage对应Hdfs的dfs.data.dir目录。DataNode启动时，检查恢复状态转换dfs.data.dir下所有的StorageDirectory。二.DataStorage类图三.详细描述org.apache.hadoop.hdfs.server.protocol.NamespaceInfo：Na

阅读更多一.物理文件夹和文件与类的对应关系Storage：存储信息文件的集合。由一系列StorageDirectory组成，这些StorageDirectory的VERSION相同。Storage对应着Hdfs的dfs.data.dir或dfs.name.dir目录，默认为%hadoop_home%/dfs/data或%hadoop_home%/dfs/name。DataNode可以配置多个dfs

阅读更多一.物理文件夹和文件与类的对应关系Storage：存储信息文件的集合。由一系列StorageDirectory组成，这些StorageDirectory的VERSION相同。Storage对应着Hdfs的dfs.data.dir或dfs.name.dir目录，默认为%hadoop_home%/dfs/data或%hadoop_home%/dfs/name。DataNode可以配置多个dfs

阅读更多一.本文初衷我曾经写过一篇文章容器学习一：HashMap源码分析，后来有网友对我说，全文不介绍HashMap怎么使用，只介绍了源码，有点孤立。到昨天又有网友对我说，看了你的分析RPC的三篇文章，并没有理解RPC到底是个什么玩意，给我留下的影响只有Java反射。这个就是我写本文的原因：源码是进去，本文再跳出来做一个全局的描述。二.RPC概念RPC(RemoteProcedureCallPro

阅读更多一.本文初衷我曾经写过一篇文章容器学习一：HashMap源码分析，后来有网友对我说，全文不介绍HashMap怎么使用，只介绍了源码，有点孤立。到昨天又有网友对我说，看了你的分析RPC的三篇文章，并没有理解RPC到底是个什么玩意，给我留下的影响只有Java反射。这个就是我写本文的原因：源码是进去，本文再跳出来做一个全局的描述。二.RPC概念RPC(RemoteProcedureCallPro

一.本文初衷     我曾经写过一篇文章容器学习一：HashMap源码分析，后来有网友对我说，全文不介绍HashMap怎么使用，只介绍了源码，有点孤立。到昨天又有网友对我说，看了你的分析RPC的三篇文章，并没有理解RPC到底是个什么玩意，给我留下的影响只有Java反射。这个就是我写本文的原因：源码是进去，本文再跳出来做一个全局的描述。 二.RPC概念 RPC(RemoteProcedureCall