Hadoop-0.20.0

在Linux单机上运行Hadoop-0.20.0实例

其实，Hadoop-0.20.0与Hadoop-0.19.0的入门运行非常相似，基本步骤都是相同的。
千与·2020-08-17 14:22

学习Hadoop不错的系列文章

HDFS读写过程解析 　　（3）Map-Reduce入门 　　（4）Map-Reduce的过程解析 　　（5）Hadoop的运行痕迹 　　（6）Apache Hadoop 版本  2）Hadoop
·2015-11-11 06:18

MapReduce 程序模板 （采用 新/旧API）

还有一个关键点：MapReduce的API在hadoop-0.20.0前后，发生了如下变化
moonpure·2015-07-21 11:00

Hadoop-0.20.0源代码分析（03）

在Hadoop框架源代码org.apache.hadoop.fs包中，都是关于Hadoop文件系统实现的相关类，主要包括文件系统模型的建立，及其在该文件系统定义、实现基本的文件操作。例如给出文件系统抽象，对文件系统上存储的文件执行基本操作进行抽象，等等。在该包中，类的继承关系如下所示：[java]viewplaincopy◦java.lang.Object      ◦org.apache.had
gaowenhui2008·2014-11-25 16:00

Hadoop-0.20.0源代码分析（02）

UserGroupInformation类定义了一个与文件系统相关的用户和组信息抽象的内容，Hadoop框架实现了一个基于Unix系统的用户和组信息的实现类UnixUserGroupInformation，该类继承自UserGroupInformation抽象类。从UserGroupInformation抽象类与其子类UnixUserGroupInformation的属性字段可以看出，抽象类所定义
gaowenhui2008·2014-11-25 16:00

Hadoop-0.20.0源代码分析（01）

Hadoop 框架是两个模型实现的有机整合，亦即Hadoop分布式文件系统（HDFS）与MapReduce并行编程模型，也就是说，Hadoop框架要能够提供的基本功能就是，在存储系统HDFS上进行MapReduce并行计算，所以，如果想要了解Hadoop框架的工作原理和运行机制，主要从这两个方面着手。其实，Hadoop中MapReduce并行计算应该是在HDFS实现的，因此了解计算所基于HDFS应
gaowenhui2008·2014-11-25 16:00

Hadoop-0.20.0分布式集群配置

Hadoop-0.20.0分布式集群配置 Hadoop集群的安装和配置，主要分为两个部分：一部分是主机环境配置，主要是指Hadoop集群所依赖的操作系统及其相关软件的安装配置，包括操作系统安装、JDK安装配置
QXK1989·2012-08-02 15:00

安装eclipse插件后，run on hadoop没有反映的解决办法

安装eclipse插件后，runonhadoop没有反映的原因是：hadoop-0.20.0下自带的eclise插件已过时。
zhu_yanjie·2012-07-05 10:00

在eclipse中配置hadoop插件

准备程序：eclipse-3.5.2（这个版本的插件只能用这个版本的eclipse）hadoop-0.20.0-eclipse-plugin.jar（在hadoop-0.20.0/contrib/eclipse-plugin
zhu_yanjie·2012-07-05 10:00

（三）配置hadoop-----------运行wordcount例子

hadoop-------vm虚拟机中安装CentOS5.5，并且安装和配置jdk1.6（二）配置hadoop-------安装配置hadoop并且设置ssh这两张文章之后：1、usr/java/hadoop/hadoop
zhu_yanjie·2012-06-29 12:00

（二）配置hadoop-------安装配置hadoop并且设置ssh

连接：http://archive.apache.org/dist/hadoop/core/hadoop-0.20.0（这个地址时不时的抽风，偶尔还是可
zhu_yanjie·2012-06-26 19:00

Hadoop JMX

1.修改配置开发JMX端口 假设hadoop（hadoop-0.20.0）安装目录用$hadoop_home表示。
chenjc_it·2012-05-25 00:00

Hadoop JMX

阅读更多1.修改配置开发JMX端口假设hadoop（hadoop-0.20.0）安装目录用$hadoop_home表示。
chenjc_it·2012-05-25 00:00

Hadoop JMX

1.修改配置开发JMX端口 假设hadoop（hadoop-0.20.0）安装目录用$hadoop_home表示。
chenjc_it·2012-05-25 00:00

学习Hadoop不错的系列文章

）Hadoop学习总结（1）HDFS简介（2）HDFS读写过程解析（3）Map-Reduce入门（4）Map-Reduce的过程解析（5）Hadoop的运行痕迹（6）ApacheHadoop版本 2）Hadoop
·2012-04-22 14:00

Hadoop-0.20.0分布式集群配置

 Hadoop集群的安装和配置，主要分为两个部分：一部分是主机环境配置，主要是指Hadoop集群所依赖的操作系统及其相关软件的安装配置，包括 操作系统安装、JDK安装配置、主机规划与IP地址映射配置、无密码认证会话配置；另一部分是Hadoop基本配置，主要是指Hadoop集群的各种基本组件的配置，包括HDFS的配置、MapReduce配置。   下面根据上面总结的两个部分进
lirenjuan·2012-03-29 13:00

Hadoop-0.20.0源代码分析（01）http://blog.csdn.net/shirdrn/article/details/4569702

Hadoop 框架是两个模型实现的有机整合，亦即Hadoop分布式文件系统（HDFS）与MapReduce并行编程模型，也就是说，Hadoop框架要能够提供的基本功能就是，在存储系统HDFS上进行MapReduce并行计算，所以，如果想要了解Hadoop框架的工作原理和运行机制，主要从这两个方面着手。其实，Hadoop中MapReduce并行计算应该是在HDFS实现的，因此了解计算所基于HDFS应
zhaogezhuoyuezhao·2012-03-09 21:00

Hadoop-0.20.0源代码分析(7)http://blog.csdn.net/shirdrn/article/details/4581666

前面分析了与操作系统有关的Shell命令，它们用于与操作系统进行命令行方式的交互。在Hadoop中，自定义了FileSystem文件系统，这是基于Unix操作系统之上的文件系统，为了方便对FileSystem的管理，通过org.apache.hadoop.fs.FsShell类定义了对HadoopFileSystem文件系统进行命令行方式管理的命令实现。先给出对Hadoop文件系统进行管理的命令实
zhaogezhuoyuezhao·2012-03-09 21:00

在Linux单机上运行Hadoop-0.20.0实例

其实，Hadoop-0.20.0与Hadoop-0.19.0的入门运行非常相似，基本步骤都是相同的。
shirdrn·2010-08-02 21:00

Hadoop-0.20.0源代码分析（19）

这里，对重要的FSImage类进行阅读分析。该类的继承层次关系如下所示： ◦org.apache.hadoop.hdfs.server.common.StorageInfo◦org.apache.hadoop.hdfs.server.common.Storage◦org.apache.hadoop.hdfs.server.namenode.FSImage我们一个一个地分析：StorageInfo类
shirdrn·2009-10-07 14:00

Hadoop-0.20.0源代码分析（18）

这里，对Hadoop实现的与升级管理相关的实现类进行分析。通过升级管理器，可以对文件系统的状态进行定时升级更新，保证最良好的工作状态。下面从不同的侧面对与分布式升级相关的内容分类分析。升级命令与升级命令相关的实现类的继承层次关系如下所示：◦org.apache.hadoop.hdfs.server.protocol.DatanodeCommand(implementsorg.apache.hado
shirdrn·2009-10-06 16:00

Hadoop-0.20.0源代码分析（17）

继续为分析org.apache.hadoop.hdfs.server.namenode.FSNamesystem类做准备，这里分析与FSEditLog相关的几个类，当然，FSEditLog类才是核心的。FSEditLog.EditLogFileOutputStream内部静态类该类是定义在org.apache.hadoop.hdfs.server.namenode.FSEditLog类内部的静态类
shirdrn·2009-10-05 16:00

Hadoop-0.20.0源代码分析（16）

这里对与org.apache.hadoop.hdfs.server.namenode.FSDirectory类相关的类进行阅读分析。INodeDirectoryWithQuota类该类org.apache.hadoop.hdfs.server.namenode.INodeDirectoryWithQuota的继承层次关系如下所示：◦org.apache.hadoop.hdfs.server.nam
shirdrn·2009-10-04 09:00

Hadoop-0.20.0源代码分析（15）

我们已经分析了org.apache.hadoop.hdfs.server.namenode.Namenode类的实现，而且知道，一个Namenode提供的主要服务是基于其内部定义的org.apache.hadoop.hdfs.server.namenode.FSNamesystem属性来实现的。可见，org.apache.hadoop.hdfs.server.namenode.FSNamesyst
shirdrn·2009-09-28 21:00

Hadoop-0.20.0源代码分析（14）

Hadoop集群中，不同进程之间通信需要使用合适的协议才能够进行交互，之前对Hadoop给出的协议接口做了分析。在协议接口中约定了通信双方的特定行为，那么，在实现这些通信协议的实现类中，就能看到指定进程是如何实现协议接口中约定的行为的。这里，阅读分析org.apache.hadoop.hdfs.server.namenode.Namenode实现类。首先，看一下Namenode类实现的接口，下面是
shirdrn·2009-09-28 18:00

Hadoop-0.20.0源代码分析（13）

通过对org.apache.hadoop.ipc包中，Hadoop实现了基于IPC模型的RPC机制，可以不需要像Java中实现的RMI机制一样，在RPC调用的C/S两端分别创建Stub和Skeleton，而是通过一组协议来进行RPC调用就可以实现通信。这主要是由于Hadoop所采用的序列化机制简化了RPC调用的复杂性。Hadoop定义了自己的通信协议，这些协议都是建立在TCP/IP协议之上的，规范
shirdrn·2009-09-28 11:00

Hadoop-0.20.0源代码分析（12）

在org.apache.hadoop.ipc包中，Server类是一个抽象类，抽象了IPC模型中Server端的基本行为。下面对RPC类进行阅读分析。RPC类给出了一个简单的RPC机制，它的协议是基于一个Java接口，协议界定，所有的参数和返回类型必须是下面之一：1、一个基本类型：boolean、byte、char、short、int、long、float、double，或void；2、Strin
shirdrn·2009-09-26 20:00

Hadoop-0.20.0源代码分析（11）

这里分析一下IPC模型中的Server端的实现。该Server类的实现有点复杂，而且涉及到网络中字节流缓冲区的操作问题，及其字节数据的反序列化。Server类该Server是服务端的抽象实现，定义了一个抽象的IPC服务。 该IPC服务器接收Client发送的参数值，并返回响应值。同时，作为IPC模型的服务端，它要维护Client端到Server端的一组连接。首先看Server类定义的几个属性：pr
shirdrn·2009-09-26 19:00

Hadoop-0.20.0源代码分析（10）

DFSClient是分布式文件系统客户端，它能够连接到Hadoop文件系统执行指定任务，那么它要与Namenode与Datanode基于一定的协议来进行通信。这个通信过程中，涉及到不同进程之间的通信。在org.apache.hadoop.ipc包中，定义了进程间通信的Client端与Server端的抽象，也就是基于C/S模式进行通信。这里先对org.apache.hadoop.ipc包中有关类的源
shirdrn·2009-09-25 17:00

Hadoop-0.20.0源代码分析（09）

通过前面，对Hadoop的org.apache.hadoop.fs包中内容进行分析，已经基本了解到，一个文件系统应该具备哪些基本要素和基本操作。最显著的一个特点就是，FileSystem文件系统是基于流式数据访问的，并且，可以基于命令行的方式来对文件系统的文件进行管理与操作。而且，基于FileSystem文件系统的抽象定义，我们可以了解到，继承自该抽象的一切具体实现的文件系统，都具有统一的文件访问
shirdrn·2009-09-24 21:00

Hadoop-0.20.0源代码分析（08）

这里，继续对FsShell类中一些命令进行阅读分析，主要是看与拷贝文件有关的几个命令。cp命令该命令实现对文件的拷贝操作，并且支持在不同的文件系统之间进行文件的拷贝。拷贝文件涉及的操作比较复杂，核心拷贝操作还是调用了org.apache.hadoop.fs.FileUtil类的copy方法实现的。 先看该类中定义的其中一个copy方法的实现：privateintcopy(Stringargv[],
shirdrn·2009-09-23 20:00

Hadoop-0.20.0源代码分析（07）

前面分析了与操作系统有关的Shell命令，它们用于与操作系统进行命令行方式的交互。在Hadoop中，自定义了FileSystem文件系统，这是基于Unix操作系统之上的文件系统，为了方便对FileSystem的管理，通过org.apache.hadoop.fs.FsShell类定义了对HadoopFileSystem文件系统进行命令行方式管理的命令实现。先给出对Hadoop文件系统进行管理的命令实
shirdrn·2009-09-22 21:00

Hadoop-0.20.0源代码分析（06）

在阅读Hadoop源代码过程中，在org.apache.hadoop.security.UnixUserGroupInformation类中，需要获取到Unix系统的用户名和所属组的信息，就需要通过执行Shell命令得到相应的结果，这里，通过阅读Hadoop项目org.apache.hadoop.util包、org.apache.hadoop.fs.shell包、org.apache.hadoop
shirdrn·2009-09-22 21:00

Hadoop-0.20.0源代码分析（05）

以文件流作为一个切面，阅读Hadoop源代码org.apache.hadoop.fs包中源代码。关于流，分为输入流和输出流两种，下面也这样简单划分为两类进行阅读分析。输入流类与输入流相关的接口和类的继承层次关系如下所示：◦java.io.InputStream(java.io.Closeable)◦java.io.FilterInputStream◦java.io.DataInputStream(
shirdrn·2009-09-21 19:00

Hadoop-0.20.0源代码分析（04）

前面，分析了org.apache.hadoop.fs.Filesystem抽象类，我们已经了解到，要实现一个最基本的文件系统都需要包含哪些要点。下面具体到某个实现Filesystem的具体实现类，基于该抽象类Filesystem派生的类的继承关系：◦org.apache.hadoop.fs.FileSystem(implementsjava.io.Closeable)◦org.apache.had
shirdrn·2009-09-21 02:00

Hadoop-0.20.0源代码分析（03）

在Hadoop框架源代码org.apache.hadoop.fs包中，都是关于Hadoop文件系统实现的相关类，主要包括文件系统模型的建立，及其在该文件系统定义、实现基本的文件操作。例如给出文件系统抽象，对文件系统上存储的文件执行基本操作进行抽象，等等。在该包中，类的继承关系如下所示：◦java.lang.Object◦org.apache.hadoop.fs.BlockLocation(impl
shirdrn·2009-09-20 14:00

Hadoop-0.20.0源代码分析（02）

UserGroupInformation类定义了一个与文件系统相关的用户和组信息抽象的内容，Hadoop框架实现了一个基于Unix系统的用户和组信息的实现类UnixUserGroupInformation，该类继承自UserGroupInformation抽象类。从UserGroupInformation抽象类与其子类UnixUserGroupInformation的属性字段可以看出，抽象类所定义
shirdrn·2009-09-19 23:00

Hadoop-0.20.0源代码分析（01）

Hadoop 框架是两个模型实现的有机整合，亦即Hadoop分布式文件系统（HDFS）与MapReduce并行编程模型，也就是说，Hadoop框架要能够提供的基本功能就是，在存储系统HDFS上进行MapReduce并行计算，所以，如果想要了解Hadoop框架的工作原理和运行机制，主要从这两个方面着手。其实，Hadoop中MapReduce并行计算应该是在HDFS实现的，因此了解计算所基于HDFS应
shirdrn·2009-09-19 13:00
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他