Hadoop-HDFS

Hadoop学习十：Hadoop-Hdfs RPC源码 RPC

阅读更多一.RPC类图二.详细描述Server：继承org.apache.hadoop.ipc.Server(Hadoop学习九：Hadoop-hdfsRPC源码Server)。我们称之为RPCServer。/**AnRPCServer.*/publicstaticclassServerextendsorg.apache.hadoop.ipc.Server{//创建一个RPCserver//注意调
zy19982004·2013-05-24 21:00

Hadoop学习十：Hadoop-Hdfs RPC源码 RPC

阅读更多一.RPC类图二.详细描述Server：继承org.apache.hadoop.ipc.Server(Hadoop学习九：Hadoop-hdfsRPC源码Server)。我们称之为RPCServer。/**AnRPCServer.*/publicstaticclassServerextendsorg.apache.hadoop.ipc.Server{//创建一个RPCserver//注意调
zy19982004·2013-05-24 21:00

Hadoop学习九：Hadoop-hdfs RPC源码 Server

阅读更多一.Server类图二.详细描述Call：server端的Call对象，对应着client的一个Call对象，两者id相同。同clientCall一样，serverCall封装了每次方法调用的参数信息和调用结果。//server端的Call对象，对应着client的一个Call对象，两者id相同privatestaticclassCall{privateintid;//cleintCall
zy19982004·2013-05-24 16:00

Hadoop学习九：Hadoop-hdfs RPC源码 Server

阅读更多一.Server类图二.详细描述Call：server端的Call对象，对应着client的一个Call对象，两者id相同。同clientCall一样，serverCall封装了每次方法调用的参数信息和调用结果。//server端的Call对象，对应着client的一个Call对象，两者id相同privatestaticclassCall{privateintid;//cleintCall
zy19982004·2013-05-24 16:00

Hadoop学习八：Hadoop-Hdfs RPC源码 Client

阅读更多一.Client类图二.详细描述ConnectionId：Thisclassholdstheaddressandtheuserticket.Theclientconnectionstoserversareuniquelyidentifiedby。一个connection由一个ConnectionId唯一标识；所以要重写ConnectionId的equals和hashcode方法。Conne
zy19982004·2013-05-23 19:00

Hadoop学习八：Hadoop-Hdfs RPC源码 Client

阅读更多一.Client类图二.详细描述ConnectionId：Thisclassholdstheaddressandtheuserticket.Theclientconnectionstoserversareuniquelyidentifiedby。一个connection由一个ConnectionId唯一标识；所以要重写ConnectionId的equals和hashcode方法。Conne
zy19982004·2013-05-23 19:00

Hadoop学习七：Hadoop-Hdfs源码 conf包

阅读更多一.conf包下四个类二.详细描述Configurable接口：Somethingthatmaybeconfiguredwitha{@linkConfiguration}.，很绕口，简单理解为Hdfs系统配置文件的接口。Configured：Baseclassforthingsthatmaybeconfiguredwitha{@linkConfiguration}，Hdfs系统配置文件的抽
zy19982004·2013-05-22 22:00

Hadoop学习七：Hadoop-Hdfs源码 conf包

阅读更多一.conf包下四个类二.详细描述Configurable接口：Somethingthatmaybeconfiguredwitha{@linkConfiguration}.，很绕口，简单理解为Hdfs系统配置文件的接口。Configured：Baseclassforthingsthatmaybeconfiguredwitha{@linkConfiguration}，Hdfs系统配置文件的抽
zy19982004·2013-05-22 22:00

Hadoop学习六：Hadoop-Hdfs源码 classification包

阅读更多一.org.apache.hadoop.classification.*二.解释InterfaceAudience类包含三个注解类，用来说明被注解类的使用范围。InterfaceAudience.Public：所有工程可以使用被注解类。InterfaceAudience.LimitedPrivate：指定的某些工程可以使用被注解类。Forexample,"Common","HDFS","M
zy19982004·2013-05-20 18:00

Hadoop学习六：Hadoop-Hdfs源码 classification包

阅读更多一.org.apache.hadoop.classification.*二.解释InterfaceAudience类包含三个注解类，用来说明被注解类的使用范围。InterfaceAudience.Public：所有工程可以使用被注解类。InterfaceAudience.LimitedPrivate：指定的某些工程可以使用被注解类。Forexample,"Common","HDFS","M
zy19982004·2013-05-20 18:00

Hadoop学习四：Hadoop-Hdfs NameNode

阅读更多一.NameNode概述NameNode存放了所有文件和文件夹的元数据信息内存中：在系统启动时，会把fsimage和editlog记录的元数据信息加装到内存中；在系统启动时，NameNode收集DataNode心跳，在内存中形成file->blocks的对应关系。硬盘上：操作日志以fsimage和editlog的形式持久化在硬盘上。NameNode分类NameNode，SecondaryN
zy19982004·2013-05-16 23:00

Hadoop学习四：Hadoop-Hdfs NameNode

阅读更多一.NameNode概述NameNode存放了所有文件和文件夹的元数据信息内存中：在系统启动时，会把fsimage和editlog记录的元数据信息加装到内存中；在系统启动时，NameNode收集DataNode心跳，在内存中形成file->blocks的对应关系。硬盘上：操作日志以fsimage和editlog的形式持久化在硬盘上。NameNode分类NameNode，SecondaryN
zy19982004·2013-05-16 23:00

Hypertable on HDFS(hadoop) 安装

HypertableonHDFS(hadoop)安装Hadoop-HDFS安装指南过程 4.2. 
neo-chen·2013-04-27 00:00

Hadoop-HDFS源码学习草记

2012-3-3：   HDFS protocol: Block 块定义，组成（blockId,numBytes,generationStamp），定义问块文件的文件命名为blk_{blockId},存储的最小单位。 BlockListAsLongs：每个Block块可以由3个long的数字表达，使用long[]存储Block[],主要用于datanode高效的上报给na
zp820705·2012-03-03 21:00

Hadoop-HDFS源码学习草记

2012-3-3：   HDFS protocol: Block 块定义，组成（blockId,numBytes,generationStamp），定义问块文件的文件命名为blk_{blockId},存储的最小单位。 BlockListAsLongs：每个Block块可以由3个long的数字表达，使用long[]存储Block[],主要用于datanode高效的上报给na
zp820705·2012-03-03 21:00

Hadoop-HDFS分布式环境搭建

阅读更多最近在考虑一个移动互联网的AppStore项目，就应用及游戏如何存储，对多种内容存储容器进行了选型，其中也包括了对HDFS的考察，本篇是对HDFS的分布式环境搭建进行一个备忘录，以备日后参考。HDFS简单介绍HDFS的英文全称是HadoopDistributedFileSystem，顾名思义，就是Hadoop分布式文件系统，是根据Google的GFS的论文，由DougCutting使用Ja
nada_forever·2011-10-06 18:00

Hadoop-HDFS分布式环境搭建

最近在考虑一个移动互联网的AppStore项目，就应用及游戏如何存储，对多种内容存储容器进行了选型，其中也包括了对HDFS的考察，本篇是对HDFS的分布式环境搭建进行一个备忘录，以备日后参考。   HDFS简单介绍 HDFS的英文全称是Hadoop Distributed File System，顾名思义，就是Hadoop分布式文件系统，是根据Google的GFS的论文，由D
nada_forever·2011-10-06 18:00

对Hadoop-HDFS性能造成重大影响的杀手-Shell

在测试Hadoop时,使用NameNode身上的dfshealth.jsp管理页面发现，DataNode在运行的过程中,LastContact参数时常会超过3。LC（LastContact）的意思是表明DataNode有多少秒的时间未向NameNode发送心跳包了。然而默认DataNode是3秒发送一次，我们都知道，NameNode默认以10分钟作为DN的死亡超时时间，那么究竟有哪些因素会导致JS
fly542·2011-09-25 16:00

解决Hadoop0.21.0 HDFS/MapReduce编译错误(ivy-resolve-common does not find hadoop-commo)

ConcatenateFile的前提条件；于是尝试用ant/ivy编译了一下hdfs，提示ivy找不到hadoop-common组件；于是又编译了一下mapreduce，提示ivy找不到hadoop-comm/hadoop-hdfs
huangjun_mail·2011-06-05 21:00

Hadoop-HDFS 对性能造成重大影响的神秘杀手-Shell.

关于想了解HDFS的源码的朋友,可以到蔡斌大哥那读读他的javaeye. 很抱歉,我用了神秘杀手一词,因为它实在害我太惨,又花了好大精力才把它给拎出来。  近来在测试Hadoop时,使用NameNode身上的dfshealth.jsp管理页面发现,DataNode在运行的过程中,LastContact参数时常会超过3。LC（LastContact）的意思是表明DataNode有多少秒的时间未向Na
needle2·2010-12-01 11:00

hadoop-hdfs启动又自动退出的问题

hadoop-hdfs启动又自动退出的问题,折腾了我1天时间啊！
iammonster·2010-05-20 10:00

hadoop-hdfs启动又自动退出的问题

hadoop-hdfs启动又自动退出的问题,折腾了我1天时间啊！
iammonster·2010-05-20 10:00

Hadoop-HDFS DFSClient的严重bug

上一篇说到Shell 对自身DN造成的性能影响，本篇说一下它对DFSClient的冲击。 不知道有没有朋友像我这样病态的使用Hadoop， 我的DFSClient总是一直Running的，因为我需要它时刻为我做事，所以我不会轻意重新创建一个与NN相连的DFSClient。 闲言少述。 Shell 的执行对正在put文件的客户端会产生下列异常： 1. DataStreamer Exce
david.org·2010-03-30 12:00

Hadoop-HDFS 对性能造成重大影响的神秘杀手-Shell.

关于想了解HDFS的源码的朋友,可以到蔡斌大哥那读读他的javaeye.很抱歉,我用了神秘杀手一词,因为它实在害我太惨,又花了好大精力才把它给拎出来。 近来在测试Hadoop时,使用NameNode身上的dfshealth.jsp管理页面发现,DataNode在运行的过程中,LastContact参数时常会超过3。LC（LastContact）的意思是表明DataNode有多少秒的时间未向Name
david.org·2010-03-30 10:00

HADOOP-HDFS 自动清除Trash以释放空间

HADOOP-HDFS需要有一个Auto-Emptier 线程来自动清除trash, 以释放HDFS的总使用空间, 该功能可以配置为可选项, 可以在Configuration下增加这两个参数以供配置.
david.org·2010-02-09 11:00

HADOOP-HDFS DataNode变身为存储/下载服务器

Hadoop默认采用返回host的手段，给予客户端响应。在FSNamesystem端，实现了以jetty为容器的web服务，在集群中，通过HTTP可以很轻松的下载文件系统当中的某文件。不过在此，记录的不是如何下载文件，而是Hadoop未实现的几个下载功能的实现方法。 假使我们现在需要让DataNode成为我们存储系统的下载、及存储服务器。那么按照现有的Hadoop的实现，会遇到如下问题：
david.org·2010-02-09 10:00

HADOOP-HDFS DataNode变身为存储/下载服务器

Hadoop默认采用返回host的手段，给予客户端响应。在FSNamesystem端，实现了以jetty为容器的web服务，在集群中，通过HTTP可以很轻松的下载文件系统当中的某文件。不过在此，记录的不是如何下载文件，而是Hadoop未实现的几个下载功能的实现方法。假使我们现在需要让DataNode成为我们存储系统的下载、及存储服务器。那么按照现有的Hadoop的实现，会遇到如下问题：1.远程机无
RicDong·2010-02-09 00:00

Hadoop的HDFS

原文链接http://www.hadoop.org.cn/hadoop/hadoop-hdfs/ HDFS的设计思想：构建一个非常庞大的分布式文件系统。
rxr1st·2008-09-09 21:00
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他