E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Hadoop-HDFS
Hadoop学习二十七：
Hadoop-Hdfs
权限相关 源码
阅读更多一.Linux文件/目录权限http://hi.baidu.com/skyforum/item/9946ef57b371789608be1747，不了解的需要做一个基本的了解。二.FsActionFsAction对应着文件/目录的操作权限。rwx。FsAction犀利之处在于枚举类型里的每一个权限与二进制的对应。有了上面的对应，我们可以组合出所有的权限publicenumFsAction{
zy19982004
·
2013-07-10 23:00
Hadoop学习二十七：
Hadoop-Hdfs
权限相关 源码
一.Linux文件/目录权限 http://hi.baidu.com/skyforum/item/9946ef57b371789608be1747，不了解的需要做一个基本的了解。 二. FsActionFsAction对应着文件/目录的操作权限。rwx。FsAction犀利之处在于枚举类型里的每一个权限与二进制的对应。有了上面的对应，我们可以组合出所有的权限publicenumFsActio
zy19982004
·
2013-07-10 23:00
hadoop
Hadoop学习二十七：
Hadoop-Hdfs
权限相关 源码
阅读更多一.Linux文件/目录权限http://hi.baidu.com/skyforum/item/9946ef57b371789608be1747，不了解的需要做一个基本的了解。二.FsActionFsAction对应着文件/目录的操作权限。rwx。FsAction犀利之处在于枚举类型里的每一个权限与二进制的对应。有了上面的对应，我们可以组合出所有的权限publicenumFsAction{
zy19982004
·
2013-07-10 23:00
Hadoop学习二十六：
Hadoop-Hdfs
Lease源码
阅读更多一.LeaseALeasegovernsallthelocksheldbyasingleclient.*Foreachclientthere'sacorrespondinglease,whose*timestampisupdatedwhentheclientperiodically*checksin.Iftheclientdiesandallowsitsleaseto*expire,all
zy19982004
·
2013-07-09 22:00
Hadoop学习二十六：
Hadoop-Hdfs
Lease源码
一. Lease ALeasegovernsallthelocksheldbyasingleclient. *Foreachclientthere'sacorrespondinglease,whose *timestampisupdatedwhentheclientperiodically *checksin. Iftheclientdiesandallowsitsleaseto *exp
zy19982004
·
2013-07-09 22:00
hadoop
Hadoop学习二十六：
Hadoop-Hdfs
Lease源码
阅读更多一.LeaseALeasegovernsallthelocksheldbyasingleclient.*Foreachclientthere'sacorrespondinglease,whose*timestampisupdatedwhentheclientperiodically*checksin.Iftheclientdiesandallowsitsleaseto*expire,all
zy19982004
·
2013-07-09 22:00
Hadoop学习二十五：
Hadoop-Hdfs
FSImage源码
阅读更多一.FSImage作用加载硬盘镜像文件fsimage到内存。加载硬盘日志文件edits到内存。这个本来是类FSEditlog的事情，但是是由FSImage负责调用。保存内存中文件层次结构到硬盘文件fsimage中。保存内存中操作日志到硬盘文件edits上。按照对应关系，觉得是应该有这么一步吧。但遗憾的告诉你，这一步在整个文件系统中不存在。也就是FSImage可以分为内存和硬盘的，而edit
zy19982004
·
2013-07-04 22:00
Hadoop学习二十五：
Hadoop-Hdfs
FSImage源码
一. FSImage作用加载硬盘镜像文件fsimage到内存。加载硬盘日志文件edits到内存。这个本来是类FSEditlog的事情，但是是由FSImage负责调用。保存内存中文件层次结构到硬盘文件fsimage中。保存内存中操作日志到硬盘文件edits上。按照对应关系，觉得是应该有这么一步吧。但遗憾的告诉你，这一步在整个文件系统中不存在。也就是FSImage可以分为内存和硬盘的，而edits只存
zy19982004
·
2013-07-04 22:00
hadoop
Hadoop学习二十五：
Hadoop-Hdfs
FSImage源码
阅读更多一.FSImage作用加载硬盘镜像文件fsimage到内存。加载硬盘日志文件edits到内存。这个本来是类FSEditlog的事情，但是是由FSImage负责调用。保存内存中文件层次结构到硬盘文件fsimage中。保存内存中操作日志到硬盘文件edits上。按照对应关系，觉得是应该有这么一步吧。但遗憾的告诉你，这一步在整个文件系统中不存在。也就是FSImage可以分为内存和硬盘的，而edit
zy19982004
·
2013-07-04 22:00
Hadoop学习二十四：
Hadoop-Hdfs
FSEditLog 源码
阅读更多一.FSEditLog类图二.FSEditLogFSEditLog提供了对editlog文件的操作方法。简单的类，方法一个个看。editStreams保存着一个fsimage下所有的editlog文件对应的输出流EditLogOutputStream。三.FSEditLog方法voidopen()：Createemptyeditlogfiles.Initializetheoutputstr
zy19982004
·
2013-07-03 22:00
Hadoop学习二十四：
Hadoop-Hdfs
FSEditLog 源码
一. FSEditLog类图 二. FSEditLogFSEditLog提供了对editlog文件的操作方法。简单的类，方法一个个看。editStreams保存着一个fsimage下所有的editlog文件对应的输出流EditLogOutputStream。三. FSEditLog方法voidopen()：Createemptyeditlogfiles.Initializetheoutputstr
zy19982004
·
2013-07-03 22:00
hadoop
Hadoop学习二十四：
Hadoop-Hdfs
FSEditLog 源码
阅读更多一.FSEditLog类图二.FSEditLogFSEditLog提供了对editlog文件的操作方法。简单的类，方法一个个看。editStreams保存着一个fsimage下所有的editlog文件对应的输出流EditLogOutputStream。三.FSEditLog方法voidopen()：Createemptyeditlogfiles.Initializetheoutputstr
zy19982004
·
2013-07-03 22:00
Hadoop学习二十三：
Hadoop-Hdfs
FSDirectory 源码
阅读更多一.FSDirectory上文Hadoop学习二十二：Hadoop-HdfsINode源码讲到INode是文件层次结构的反应。那文件层次结构由谁去维护，就是由FSDirectory维护。我把从客户端发起一个操作到最终完成这一操作所经过的类，依次划分为外层-底层。那FSNamesystem算的上底层的东西，FSDirectory就是更底层的东西。所有会导致文件层次结构变化的操作，如addFi
zy19982004
·
2013-07-03 19:00
Hadoop学习二十三：
Hadoop-Hdfs
FSDirectory 源码
一. FSDirectory上文Hadoop学习二十二：Hadoop-HdfsINode源码讲到INode是文件层次结构的反应。那文件层次结构由谁去维护，就是由FSDirectory维护。我把从客户端发起一个操作到最终完成这一操作所经过的类，依次划分为外层-底层。那FSNamesystem算的上底层的东西，FSDirectory就是更底层的东西。所有会导致文件层次结构变化的操作，如addFiled
zy19982004
·
2013-07-03 19:00
Directory
Hadoop学习二十三：
Hadoop-Hdfs
FSDirectory 源码
阅读更多一.FSDirectory上文Hadoop学习二十二：Hadoop-HdfsINode源码讲到INode是文件层次结构的反应。那文件层次结构由谁去维护，就是由FSDirectory维护。我把从客户端发起一个操作到最终完成这一操作所经过的类，依次划分为外层-底层。那FSNamesystem算的上底层的东西，FSDirectory就是更底层的东西。所有会导致文件层次结构变化的操作，如addFi
zy19982004
·
2013-07-03 19:00
Hadoop学习二十二：
Hadoop-Hdfs
INode源码
阅读更多一.INode类图二.INodeWekeepanin-memoryrepresentationofthefile/blockhierarchy.ThisisabaseINodeclasscontainingcommonfieldsforfileanddirectoryinodes.INode是文件层次结构的反应。INode两个子类：INodeDirectory代表文件目录；INodeFil
zy19982004
·
2013-06-22 09:00
Hadoop学习二十二：
Hadoop-Hdfs
INode源码
一. INode类图 二. INode Wekeepanin-memoryrepresentationofthefile/blockhierarchy.ThisisabaseINodeclasscontainingcommonfieldsforfileand directoryinodes.INode是文件层次结构的反应。INode两个子类：INodeDirectory代表文件目录；INo
zy19982004
·
2013-06-22 09:00
hadoop
Hadoop学习二十二：
Hadoop-Hdfs
INode源码
阅读更多一.INode类图二.INodeWekeepanin-memoryrepresentationofthefile/blockhierarchy.ThisisabaseINodeclasscontainingcommonfieldsforfileanddirectoryinodes.INode是文件层次结构的反应。INode两个子类：INodeDirectory代表文件目录；INodeFil
zy19982004
·
2013-06-22 09:00
Hadoop学习二十一：
Hadoop-Hdfs
DataNode 源码
阅读更多一.DataNode类图二.DateNode属性说明DatanodeProtocolnamenode：RPC代理类。RPC.getProxy(nameNodeAddress)得到远程NameNode代理类。后续的versionRequest()，register()，sendHeartbeat()，blockReceived()，blockReport()都是namenode的行为。org
zy19982004
·
2013-06-20 22:00
Hadoop学习二十一：
Hadoop-Hdfs
DataNode 源码
一. DataNode类图 二. DateNode属性说明 DatanodeProtocolnamenode：RPC代理类。RPC.getProxy(nameNodeAddress)得到远程NameNode代理类。后续的versionRequest()，register()，sendHeartbeat()，blockReceived()，blockReport()都是namenode的行为。or
zy19982004
·
2013-06-20 22:00
datanode
Hadoop学习二十一：
Hadoop-Hdfs
DataNode 源码
阅读更多一.DataNode类图二.DateNode属性说明DatanodeProtocolnamenode：RPC代理类。RPC.getProxy(nameNodeAddress)得到远程NameNode代理类。后续的versionRequest()，register()，sendHeartbeat()，blockReceived()，blockReport()都是namenode的行为。org
zy19982004
·
2013-06-20 22:00
Hadoop学习二十：
Hadoop-Hdfs
通信机制VersionedProtocol接口方法
阅读更多一.VersionedProtocol//使用HadoopRPC机制的所有协议的超类//所有子类所以自己的协议号staticfinallongversionIDpublicinterfaceVersionedProtocol{/***返回与指定协议protocol相关的协议版本*@paramprotocol协议接口的类名*@paramclientVersion客户端欲与服务器进行交互，它所
zy19982004
·
2013-06-16 00:00
Hadoop学习二十：
Hadoop-Hdfs
通信机制VersionedProtocol接口方法
一. VersionedProtocol //使用Hadoop RPC机制的所有协议的超类 //所有子类所以自己的协议号static final long versionID public interface VersionedProtocol { /** * 返回与指定协议protocol相关的协议版本 * @param protocol 协议接
zy19982004
·
2013-06-16 00:00
protocol
Hadoop学习二十：
Hadoop-Hdfs
通信机制VersionedProtocol接口方法
阅读更多一.VersionedProtocol//使用HadoopRPC机制的所有协议的超类//所有子类所以自己的协议号staticfinallongversionIDpublicinterfaceVersionedProtocol{/***返回与指定协议protocol相关的协议版本*@paramprotocol协议接口的类名*@paramclientVersion客户端欲与服务器进行交互，它所
zy19982004
·
2013-06-16 00:00
Hadoop学习十九：
Hadoop-Hdfs
通信机制VersionedProtocol工作原理
一.RPC在http://zy19982004.iteye.com/blog/1875969里曾经提到VersionedProtocolv=RPC.getProxy(...);得到一个Java代理类。实际上RPC就是建立在VersionedProtocol的基础上的。二.VersionedProtocol类图 三.工作原理 以Client与NameNode通信为例(本文中，不加特别说明，A
zy19982004
·
2013-06-16 00:00
protocol
Hadoop学习十九：
Hadoop-Hdfs
通信机制VersionedProtocol工作原理
阅读更多一.RPC在http://zy19982004.iteye.com/blog/1875969里曾经提到VersionedProtocolv=RPC.getProxy(...);得到一个Java代理类。实际上RPC就是建立在VersionedProtocol的基础上的。二.VersionedProtocol类图三.工作原理以Client与NameNode通信为例(本文中，不加特别说明，A与B
zy19982004
·
2013-06-16 00:00
Hadoop学习十九：
Hadoop-Hdfs
通信机制VersionedProtocol工作原理
阅读更多一.RPC在http://zy19982004.iteye.com/blog/1875969里曾经提到VersionedProtocolv=RPC.getProxy(...);得到一个Java代理类。实际上RPC就是建立在VersionedProtocol的基础上的。二.VersionedProtocol类图三.工作原理以Client与NameNode通信为例(本文中，不加特别说明，A与B
zy19982004
·
2013-06-16 00:00
Hadoop学习十八：
Hadoop-Hdfs
DataXceiverServer源码其它操作及总结
一. 其它操作publicstaticfinalbyteOP_REPLACE_BLOCK=(byte)83; publicstaticfinalbyteOP_COPY_BLOCK=(byte)84; publicstaticfinalbyteOP_BLOCK_CHECKSUM=(byte)85; 二.REPLACE_BLOCK Receiveablockandwriteittodisk,itt
zy19982004
·
2013-06-13 21:00
hadoop
Hadoop学习十八：
Hadoop-Hdfs
DataXceiverServer源码其它操作及总结
阅读更多一.其它操作publicstaticfinalbyteOP_REPLACE_BLOCK=(byte)83;publicstaticfinalbyteOP_COPY_BLOCK=(byte)84;publicstaticfinalbyteOP_BLOCK_CHECKSUM=(byte)85;二.REPLACE_BLOCKReceiveablockandwriteittodisk,itthen
zy19982004
·
2013-06-13 21:00
Hadoop学习十八：
Hadoop-Hdfs
DataXceiverServer源码其它操作及总结
阅读更多一.其它操作publicstaticfinalbyteOP_REPLACE_BLOCK=(byte)83;publicstaticfinalbyteOP_COPY_BLOCK=(byte)84;publicstaticfinalbyteOP_BLOCK_CHECKSUM=(byte)85;二.REPLACE_BLOCKReceiveablockandwriteittodisk,itthen
zy19982004
·
2013-06-13 21:00
Hadoop学习十七：
Hadoop-Hdfs
DataXceiverServer源码写数据
一.写数据 DataXceiver的writeBlock方法用于客户端(Client或DataNode)的写数据请求。 二.单一流程 读取客户端发送过来的消息(下文称之为“请求参数”)blockId：要写入块的blockid。generationStamp：要写入块的blockgenerationStamp。pipelineSize：numofdatanodesinentirepipel
zy19982004
·
2013-06-11 18:00
hadoop
Hadoop学习十七：
Hadoop-Hdfs
DataXceiverServer源码写数据
阅读更多一.写数据DataXceiver的writeBlock方法用于客户端(Client或DataNode)的写数据请求。二.单一流程读取客户端发送过来的消息(下文称之为“请求参数”)blockId：要写入块的blockid。generationStamp：要写入块的blockgenerationStamp。pipelineSize：numofdatanodesinentirepipeline.
zy19982004
·
2013-06-11 18:00
Hadoop学习十七：
Hadoop-Hdfs
DataXceiverServer源码写数据
阅读更多一.写数据DataXceiver的writeBlock方法用于客户端(Client或DataNode)的写数据请求。二.单一流程读取客户端发送过来的消息(下文称之为“请求参数”)blockId：要写入块的blockid。generationStamp：要写入块的blockgenerationStamp。pipelineSize：numofdatanodesinentirepipeline.
zy19982004
·
2013-06-11 18:00
Hadoop学习十六：
Hadoop-Hdfs
DataXceiverServer源码读数据
一.DataXceiverServer入口 Hadoop学习十五：Hadoop-HdfsDataXceiverServer源码概述提到DataXceiverServer每接收到一个请求，就创建一个DataXceiver来处理该请求。DataXceiver首先读取请求版本号并检验；然后再读取一个字节的操作码，根据操作码转入相关的子程序进行处理。本文介绍读数据。二.读数据读取客户端发送过
zy19982004
·
2013-06-03 21:00
hadoop
Hadoop学习十六：
Hadoop-Hdfs
DataXceiverServer源码读数据
阅读更多一.DataXceiverServer入口Hadoop学习十五：Hadoop-HdfsDataXceiverServer源码概述提到DataXceiverServer每接收到一个请求，就创建一个DataXceiver来处理该请求。DataXceiver首先读取请求版本号并检验；然后再读取一个字节的操作码，根据操作码转入相关的子程序进行处理。本文介绍读数据。二.读数据读取客户端发送过来的信息
zy19982004
·
2013-06-03 21:00
Hadoop学习十六：
Hadoop-Hdfs
DataXceiverServer源码读数据
阅读更多一.DataXceiverServer入口Hadoop学习十五：Hadoop-HdfsDataXceiverServer源码概述提到DataXceiverServer每接收到一个请求，就创建一个DataXceiver来处理该请求。DataXceiver首先读取请求版本号并检验；然后再读取一个字节的操作码，根据操作码转入相关的子程序进行处理。本文介绍读数据。二.读数据读取客户端发送过来的信息
zy19982004
·
2013-06-03 21:00
Hadoop学习十五：
Hadoop-Hdfs
DataXceiverServer源码概述
一.DataXceiverServer类图 二.DataXceiverServer Serverusedforreceiving/sendingablockofdata.ThisiscreatedtolistenforrequestsfromclientsorotherDataNodes. ThissmallserverdoesnotusetheHadoopIPCmechanism.DataXce
zy19982004
·
2013-06-02 09:00
hadoop
Hadoop学习十五：
Hadoop-Hdfs
DataXceiverServer源码概述
阅读更多一.DataXceiverServer类图二.DataXceiverServerServerusedforreceiving/sendingablockofdata.ThisiscreatedtolistenforrequestsfromclientsorotherDataNodes.ThissmallserverdoesnotusetheHadoopIPCmechanism.DataXc
zy19982004
·
2013-06-02 09:00
Hadoop学习十五：
Hadoop-Hdfs
DataXceiverServer源码概述
阅读更多一.DataXceiverServer类图二.DataXceiverServerServerusedforreceiving/sendingablockofdata.ThisiscreatedtolistenforrequestsfromclientsorotherDataNodes.ThissmallserverdoesnotusetheHadoopIPCmechanism.DataXc
zy19982004
·
2013-06-02 09:00
Hadoop学习十四：
Hadoop-Hdfs
FSDataset源码
一.FSDataset类图 二.FSVolumeFSDir物理概念 三.Block Block类只代表一个block的标识，看Block类的属性便知；Block类不代表block文件。blk_1150083481087817002是block；%hadoop_home%/dfs/data/current/blk_115008348108781700是block文件。block包含blockblk
zy19982004
·
2013-05-30 21:00
hadoop
Hadoop学习十四：
Hadoop-Hdfs
FSDataset源码
阅读更多一.FSDataset类图二.FSVolumeFSDir物理概念三.BlockBlock类只代表一个block的标识，看Block类的属性便知；Block类不代表block文件。blk_1150083481087817002是block；%hadoop_home%/dfs/data/current/blk_115008348108781700是block文件。block包含blockblk
zy19982004
·
2013-05-30 21:00
Hadoop学习十四：
Hadoop-Hdfs
FSDataset源码
阅读更多一.FSDataset类图二.FSVolumeFSDir物理概念三.BlockBlock类只代表一个block的标识，看Block类的属性便知；Block类不代表block文件。blk_1150083481087817002是block；%hadoop_home%/dfs/data/current/blk_115008348108781700是block文件。block包含blockblk
zy19982004
·
2013-05-30 21:00
Hadoop学习十三：
Hadoop-Hdfs
DataStorage源码
阅读更多一.DataStorageDataStorage继承Storage。DataStorage对应Hdfs的dfs.data.dir目录。DataNode启动时，检查恢复状态转换dfs.data.dir下所有的StorageDirectory。二.DataStorage类图三.详细描述org.apache.hadoop.hdfs.server.protocol.NamespaceInfo：Na
zy19982004
·
2013-05-28 21:00
Hadoop学习十三：
Hadoop-Hdfs
DataStorage源码
一.DataStorageDataStorage继承Storage。DataStorage对应Hdfs的dfs.data.dir目录。DataNode启动时，检查恢复状态转换dfs.data.dir下所有的StorageDirectory。二.DataStorage类图 三.详细描述org.apache.hadoop.hdfs.server.protocol.NamespaceInfo：Name
zy19982004
·
2013-05-28 21:00
hadoop
Hadoop学习十三：
Hadoop-Hdfs
DataStorage源码
阅读更多一.DataStorageDataStorage继承Storage。DataStorage对应Hdfs的dfs.data.dir目录。DataNode启动时，检查恢复状态转换dfs.data.dir下所有的StorageDirectory。二.DataStorage类图三.详细描述org.apache.hadoop.hdfs.server.protocol.NamespaceInfo：Na
zy19982004
·
2013-05-28 21:00
Hadoop学习十二：
Hadoop-Hdfs
Storage源码
阅读更多一.物理文件夹和文件与类的对应关系Storage：存储信息文件的集合。由一系列StorageDirectory组成，这些StorageDirectory的VERSION相同。Storage对应着Hdfs的dfs.data.dir或dfs.name.dir目录，默认为%hadoop_home%/dfs/data或%hadoop_home%/dfs/name。DataNode可以配置多个dfs
zy19982004
·
2013-05-27 20:00
Hadoop学习十二：
Hadoop-Hdfs
Storage源码
阅读更多一.物理文件夹和文件与类的对应关系Storage：存储信息文件的集合。由一系列StorageDirectory组成，这些StorageDirectory的VERSION相同。Storage对应着Hdfs的dfs.data.dir或dfs.name.dir目录，默认为%hadoop_home%/dfs/data或%hadoop_home%/dfs/name。DataNode可以配置多个dfs
zy19982004
·
2013-05-27 20:00
Hadoop学习十一：
Hadoop-Hdfs
RPC总结
阅读更多一.本文初衷我曾经写过一篇文章容器学习一：HashMap源码分析，后来有网友对我说，全文不介绍HashMap怎么使用，只介绍了源码，有点孤立。到昨天又有网友对我说，看了你的分析RPC的三篇文章，并没有理解RPC到底是个什么玩意，给我留下的影响只有Java反射。这个就是我写本文的原因：源码是进去，本文再跳出来做一个全局的描述。二.RPC概念RPC(RemoteProcedureCallPro
zy19982004
·
2013-05-25 11:00
Hadoop学习十一：
Hadoop-Hdfs
RPC总结
阅读更多一.本文初衷我曾经写过一篇文章容器学习一：HashMap源码分析，后来有网友对我说，全文不介绍HashMap怎么使用，只介绍了源码，有点孤立。到昨天又有网友对我说，看了你的分析RPC的三篇文章，并没有理解RPC到底是个什么玩意，给我留下的影响只有Java反射。这个就是我写本文的原因：源码是进去，本文再跳出来做一个全局的描述。二.RPC概念RPC(RemoteProcedureCallPro
zy19982004
·
2013-05-25 11:00
Hadoop学习十一：
Hadoop-Hdfs
RPC总结
一.本文初衷 我曾经写过一篇文章容器学习一：HashMap源码分析，后来有网友对我说，全文不介绍HashMap怎么使用，只介绍了源码，有点孤立。到昨天又有网友对我说，看了你的分析RPC的三篇文章，并没有理解RPC到底是个什么玩意，给我留下的影响只有Java反射。这个就是我写本文的原因：源码是进去，本文再跳出来做一个全局的描述。 二.RPC概念 RPC(RemoteProcedureCall
zy19982004
·
2013-05-25 11:00
hadoop
上一页
1
2
3
4
5
6
7
下一页
按字母分类：
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他