hadoop-2.2.0

Hadoop-2.2.0中文文档—— MapReduce 下一代 -- 公平调度器

目的此文档描述了 FairScheduler,Hadoop的一个可插入式的调度器，允许YARN应用在一个大集群中公平地共享资源。简介公平调度是一种分配资源给应用的方法，以致到最后，平均上所有应用获得相等的资源。 HadoopNextGen能够调度多种类型的资源。默认的，FairScheduler仅以内存为基础作公平调度决策。可以用Ghodsi等开发的 DominantResourceFairnes
ozhaohuafei·2014-05-10 14:00

Hadoop-2.2.0中文文档—— MapReduce 下一代--容量调度器

目的这份文档描述 CapacityScheduler,一个为Hadoop能允许多用户安全地共享一个大集群的插件式调度器，如他们的应用能适时被分配限制的容量。概述CapacityScheduler 被设计成以分享的、多用户集群运行 Hadoop应用并最大化利用集群的机制。传统上，每一个组织都会有它自己的私有电脑资源，在顶峰或接近顶峰状态有充足的容量来面对组织的SLA。这通常导致低平均利用和管理多个独
ozhaohuafei·2014-05-09 10:00

Hadoop-2.2.0学习之一Hadoop-2.2.0变化简介

Hadoop-2.2.0在Hadoop-1.x的基础上进行了重大改进，主要体现在HDFS和MapReduce上。下面大体介绍HDFS和MapReduce改进的地方。首先是HDFS联合。
wenyusuran·2014-05-07 18:00

Hadoop-2.2.0学习之三YARN简介

MapReduce在hadoop-0.23版本中进行了完全的检查修改，并发展为了现在称之为的MapReduce2.0（MRv2）或者YARN。YARN的基本想法是将JobTracker的两个主要功能资源管理和作业调度监控分开为独立的后台进程，目标是拥有一个全局ResourceManager(RM)和每个应用程序一个的ApplicationMaster(AM)。一个应用程序或者是从经典MapRedu
wenyusuran·2014-05-07 18:00

Hadoop-2.2.0学习之二HDFS联盟

在学习Hadoop-2.x版本中的HDFS之前先看一下目前普遍使用中的Hadoop-1.x版本的HDFS结构，有助于更好地理解2.x版本中HDFS的变化所带来的好处。先看看2.x版本之前的HDFS结构图，如下所示。从上面的结构可以看出，HDFS主要包括两层：Namespace（命名空间）和块存储（BlockStorage）。命名空间由目录、文件和块组成，支持文件系统相关的所有命名空间操作，比如创建
wenyusuran·2014-05-07 18:00

Hadoop 2.2 集群配置

下载地址:http://apache.claz.org/hadoop/common/hadoop-2.2.0/如下图所示，下载红色标记
颜建海·2014-04-30 11:00

ubuntu hadoop-2.2.0源码编译

1.准备工作下载jdk6、maven3.1以及protobuf2.5以及hadoop2.2.0-src.tar.gz将上述文件下载到myresource/software文件夹下载myresource文件夹下新建文件夹programfiles安装jdkjdk.tar.gz格式：可直接解压到programfilesjdk.bin格式：先修改操作权限sudo chmodu+xjdk.bin然后sudo
ly5156·2014-04-29 18:00

Hadoop-2.2.0 File System Shell

OverviewTheFileSystem(FS)shellincludesvariousshell-likecommandsthatdirectlyinteractwiththeHadoopDistributedFileSystem(HDFS)aswellasotherfilesystemsthatHadoopsupports,suchasLocalFS,HFTPFS,S3FS,andoth
chengwenyao18·2014-04-24 20:00

Hadoop-2.2.0中文文档——MapReduce--写YARN应用

目的这份文档在一个高层次上描述了为YARN实现新应用的方式。概念和流普遍的概念是一个'一个应用提交客户端'提交一个'应用'给YARN资源管理器。客户端和服务端用 'ApplicationClientProtocol'通信，若需要会首次通过ApplicationClientProtoco#getNewApplicationl获取一个新的'ApplicationId'，然后通过ApplicationC
ozhaohuafei·2014-04-24 14:00

Hadoop-2.2.0中文文档——Apache Hadoop 下一代 MapReduce (YARN)

MapReduce在hadoop-0.23中已经经历了一次完全彻底地大修，就是现在我们叫的MapReduce2.0(MRv2)orYARN.MRv2的基本思想是把JobTracker分成两个主要的功能，资源管理和工作调度/监控，变成独立的进程。有一个全局的ResourceManager(RM)和每个应用的ApplicationMaster(AM)。一个应用要么是一个典型的Map-Reduce工作，
ozhaohuafei·2014-04-23 14:00

在mac上安装hadoop

现在最新的hadoop版本是hadoop－2.2.0，本人是ha
jason的techblog·2014-04-23 01:00

Hadoop2.2 伪分布式配置

一：修改配置文件：hadoop2.2的配置文件在/opt/hadoop-2.2.0/etc/hadoop文件夹下，具体配置文件修改如下：1、修改/etc/hosts文件（sudogedit/etc/hosts
guowj800·2014-04-22 23:43

Hadoop-2.2.0使用lzo压缩文件作为输入文件

在《Hadoop2.2.0安装和配置lzo》文章中介绍了如何基于Hadoop2.2.0安装lzo。里面简单介绍了如果在Hive里面使用lzo数据。今天主要来说说如何在Hadoop2.2.0中使用lzo压缩文件当作的数据。lzo压缩默认的是不支持切分的，也就是说，如果直接把lzo文件当作Mapreduce任务的输入，那么Mapreduce只会用一个Map来处理这个输入文件，这显然不是我们想要的。其实
蓝狐乐队·2014-04-22 14:00

在linux下编译安装hadoop-2.2.0

编译环境准备  autoconf,automake,gcc,g++,libtool,protobuf-2.5.0（注意安装完之后别忘了ldconfig）, Findbugs1.3.9,maven3.0.5(注意maven的版本不要太高也不能太高)，ant,cmake，jdk(1.6~~1.7)不要使用太高的版本；获得hadoop源代码  svnco[url]http://svn.apache.or
shage001314·2014-04-22 13:00

Hadoop-2.2.0中文文档—— Shell命令

FSShell调用文件系统(FS)Shell命令应使用 bin/hadoopfs的形式。所有的的FSshell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。一个HDFS文
ozhaohuafei·2014-04-22 11:00

Hadoop-2.2.0中文文档——MapReduce 下一代 -——集群配置

目的这份文档描述了如何安装、配置和管理从几个节点到有数千个节点的Hadoop集群。玩的话，你可能想先在单机上安装。(看单节点配置)。准备从Apache镜像上下载一个Hadoop的稳定版本。安装安装一个Hadoop集群，一般包括分发软件到所有集群中的机器上或者是安装RPMs。一般地，集群中的一台机器被唯一地设计成NameNode,另一台机器被设置成ResourceManager。这是master(主
ozhaohuafei·2014-04-22 09:00

Hadoop-2.2.0中文文档——MapReduce 下一代 —配置一个单节点集群

Mapreduce包你需从发布页面获得MapReducetar包。若不能，你要将源码打成tar包。 $mvncleaninstall-DskipTests $cdhadoop-mapreduce-project $mvncleaninstallassembly:assembly-Pnative 注意：你需要安装有protoc2.5.0。忽略本地建立mapreduce，你可以在mave
ozhaohuafei·2014-04-21 18:00

多节点的 Hadoop-2.2.0 的安装步骤

1.环境描述：1）三台cp。2）VMware-player3）Ubuntu13.104）Hadoop2.2.05)JDK1.82.准备阶段：1）在三台电脑上安装好VMware-player的步骤省略，非常简单。2）在VMwareplayer中安装Ubuntu省略，很简单。3）由于三台虚拟机之间要通信，因此我们应该选择桥接的方式。在这种模式下，虚拟系统就像是局域网中的一台独立的主机，与宿主计算机平等
DataMing2013·2014-04-20 15:38

多节点的 Hadoop-2.2.0 的安装步骤

1.环境描述：      1）三台cp。      2）VMware-player      3）Ubuntu13.10      4）Hadoop2.2.0      5)JDK1.82.准备阶段：      1）在三台电脑上安装好VMware-player的步骤省略，非常简单。      2）在VMwareplayer中安装Ubuntu省略，很简单。      3）由于三台虚拟机之间要通信，因
DataMing2013·2014-04-20 15:38

在Ubuntu13.10下使用Eclipse搭建Hadoop-2.2.0 开发环境

前提：你已经在Ubuntu13.10下安装好了（jdk）Eclipse与Hadoop-2.2.0.步骤：1.把eclipse-plugin-2.2.0.jar（http://down.51cto.com/data/1138526）放到eclipse/dropins文件夹下（eclipse/plugins文件夹下应该也可以的）。2.重启动eclipse，选择Window--->OpenPerspec
DataMing2013·2014-04-20 14:35

Hadoop-2.2.0中文文档——Apache Hadoop 2.2.0 概览

学习Hadoop也有一段时间了。起先从Hadoop-1.2.1开始，略会写点MapReduce,还是想要跟上Hadoop发展的步伐，虽说现在官方已经发布2.4.0版本了，但是稳定版还是2.2.0。在机器上跑了一下，发现2.x比起1.x，变化还是很大的，更加模块化了。决定从官网的文档开始入手，现在也略有些时间，就一边学习一边将其翻译成中文好了，不过英文比较烂。大概每天翻译一节吧。----------
ozhaohuafei·2014-04-20 11:00

Ubuntu上使用Hadoop 2.x 三 编译2.2.0 64bit版本

wget http://mirror.esocc.com/apache/hadoop/common/hadoop-2.2.0/hadoop-2.2.0-src.tar.gz  然后解压：[plain]viewplaincopyprint
Mrknowledge·2014-04-17 09:00

hadoop2.2.0配置

下载地址:http://apache.claz.org/hadoop/common/hadoop-2.2.0/第二部分集群环境搭建1、这里我们搭建一个由三台机器组成的
蓝狐乐队·2014-04-15 09:00

编译 Hadoop2.2.0 的 Eclipse 插件

6.5_32 5.当前目录/opt 6.eclipse主目录:/opt/eclipse，版本是 Kepler（插件最新支持到这个版本）ant编译时需要这个参数 7.hadoop主目录:/cluster/hadoop
hoodlake·2014-04-12 16:00

centOS 安装 hadoop-2.2.0

准备工作：安装jdk 1.下载hadoop:hadoop-2.2.0.tar.gz 网址：http://mirrors.cnnic.cn/apache/hadoop/common/ 2.把hadoop解压到文件夹/usr下面 [root@localhostusr]#tar-xzvfhadoop-2.2.0.tar.gz 3.创建用户hadoop [root@localhostusr]#addus
tengdazhang770960436·2014-04-07 18:00

hadoop2.0集群搭建详解

hadoop2.2.0集群搭建本贴转载自：http://my.oschina.net/allen1088/blog/214511    PS：apache提供的hadoop-2.2.0的安装包是在32位操作系统编译的
bluetropic·2014-04-05 10:00

hadoop2.0集群搭建详解

hadoop2.2.0集群搭建    PS：apache提供的hadoop-2.2.0的安装包是在32位操作系统编译的，          因为hadoop依赖一些C++的本地库，所以如果在64位的操作上安装
迪allen·2014-03-31 00:00

Spark计算Pi运行过程详解---Spark学习笔记4

/bin/shexportYARN_CONF_DIR=/home/victor/software/hadoop-2.2.0/etc/hadoopSPARK_JAR=.
u014388509·2014-03-31 00:00

Spark计算Pi---Spark学习笔记2

话接上回Spark学习笔记1-编译源代码，已经成功编译了sparkonyarn启动yarnvictor@victor-ubuntu:~/software/hadoop-2.2.0/sbin$.
u014388509·2014-03-28 22:00

SUSE Linux 64位环境下编译hadoop2.2.0源码

故，需要在64位系统下，对hadoop-2.2.0源码进行重新编译。START:准备工作：步骤：1、安装JDK   在oracle官网下载最新的jdk包，eg:jdk-
adermxl·2014-03-27 09:00

hadoop-2.2.0 分布式安装

转载自：http://blog.csdn.net/myboyliu2007/article/details/18900371#t1目录(?)[+]hadoop安装包：hadoop-2.2.0.tar.gz操作系统：    CentOS6.4jdk版本：     jdk1.7.0_211.配置namenode和datanode配置成功的关键在于确保各机器上的主机名和IP地址之间能正确解析。修改每台机
myrainblues·2014-03-25 18:00

sqoop2 与hadoop-2.2.0集成

sqoop是关系型数据库与hadoop之间传递数据的一个工具．下载sqoop1.99.3按包里的文档安装，出现了以下一些问题：１．启动sqoop.shserverstart时，服务器不能启动，查看sqoop.log发现配置的hadoop目录不是正确的目录或权限不正确．我仔细检查了路径，绝对正确．上网ＧＯＯＧＬＥ也没有找到解决办法，仔细回想，原来我将sqoopserver安装到与hadoopname
ylzhj02·2014-03-23 23:00

使用Maven将Hadoop2.2.0源码编译成Eclipse项目

1.下载Hadoop2.2.0源码包http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.2.0/hadoop-2.2.0-src.tar.gz
zhu_9527·2014-03-21 22:00

32位LINUX下hadoop2.2.0重新编译及安装步骤

下载地址:http://apache.claz.org/hadoop/common/hadoop-2.2.0/如下图所示，下载红色标记部
DavideyLee·2014-03-21 15:23

Hadoop-2.2.0集群安装配置实践

Hadoop2.x和1.x已经大不相同了，应该说对于存储计算都更加通用了。Hadoop2.x实现了用来管理集群资源的YARN框架，可以面向任何需要使用基于HDFS存储来计算的需要，当然MapReduce现在已经作为外围的插件式的计算框架，你可以根据需要开发或者选择合适的计算框架。目前，貌似对MapReduce支持还是比较好的，毕竟MapReduce框架已经还算成熟。其他一些基于YARN框架的标准也
zhu_9527·2014-03-21 15:00

Solve Problem: “Unable to load realm info from SCDynamicStore” on Mac OS X Mavericks 10.9.1

SolveProblem:“UnabletoloadrealminfofromSCDynamicStore”onMacOSXMavericks10.9.1Environment:Hadoop-2.2.0
tanggod·2014-03-21 05:00

hadoop-2.2.0配合hive-0.12.0使用orc存储引发的bug

环境：hadoop版本：hadoop-2.2.0（官网下载并编译为64位版本）hive版本：hive-0.12.0（官网下载后解压）集群状态良好，尝试普通hive以及mapreduce均成功。
小胖头鱼·2014-03-13 18:08

简短使用的HADOOP2版本的安装配置

注意：apache提供的hadoop-2.2.0的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库，所以如果在64位的操作上安装hadoop-2.2.0就需要重新在64操作系统上重新编译前期准备就不详细说了
xiangaichou·2014-03-13 09:00

Hadoop2.2.0伪分布式安装配置

hadoop2.2.0伪分布式安装安装前解决的问题：1、hadoop官网下载的hadoop二进制文件是在32位环境下编译的（地址：http://mirrors.cnnic.cn/apache/hadoop/common/hadoop
myy1012010626·2014-03-10 14:00

解决：kettle连接hadoop 2.20后，导致不能连接Hive的问题

kettle如何连接hadoop2.20,参见“Kettle（PentahoDataIntegration）安装Hadoop-2.2.0插件”原本官方下载的kettle的4.4版本，默认配置是可以链接hive
龙明倩·2014-03-06 20:01

Kettle（PentahoDataIntegration）安装Hadoop-2.2.0插件

Kettle（PentahoDataIntegration）安装Hadoop-2.2.0插件1安装前的准备工作1.1PentahoDataIntegration当前的CE版本PentahoDataIntegration
龙明倩·2014-03-06 20:45

Linux protobuf 2.5.0 安装

下载地址:https://code.google.com/p/protobuf/downloads/list，要下载2.5.0版本噢（编译hadoop-2.2.0需要）tarzxvfprotobuf-2.5.0
Mrknowledge·2014-03-06 11:00

hadoop-2.2.0安装配置

18台机器：1台namenode+17台datanode！！！配置hadoop时候先部署namenode，再利用rsync把hadoop目录同步到所有的datanode上面！！！1.安装JDK：mkdir-p/usr/local/java; wgethttp://100.100.144.187/jdk-7u51-linux-x64.gz;tarxzvfjdk-7u51-linux-x64.gz-C
iloveyin·2014-02-28 17:00

成功helloworld

成功helloworld1、下载并安装hadoop(需安装好jdk)2、创建文件夹~/dfs/name~/dfs/data~/temp3、修改配置文件~/hadoop-2.2.0/etc/hadoop/
无花无酒锄作田·2014-02-26 16:00

异常java.lang.IllegalArgumentException: Wrong FS: hdfs:/, expected: file:///

阅读更多在hadoop-2.2.0版本中对hdfs进行简单的测试操作，代码如下所示Configurationconf=newConfiguration();try{FileSystemfs=FileSystem.get
pgwcumt·2014-02-25 15:00

异常java.lang.IllegalArgumentException: Wrong FS: hdfs:/, expected: file:///

  在hadoop-2.2.0版本中对hdfs进行简单的测试操作，代码如下所示 Configuration conf = new Configuration(); try { FileSystem
pgwcumt·2014-02-25 15:00

Hadoop-2.2.0编译！！！

        先来无事想安装下hadoop-2.2.0,看看宣传中的许多新特性。再网上找教程的时候突然发现原来官方只有32位版本的。需要自己对源代码进行编译才能得到64位版本的。
仙剑奇侠·2014-02-23 21:00

Ubuntu上使用Hadoop 2.x 三 编译2.2.0 64bit版本

下载源代码：wgethttp://mirror.esocc.com/apache/hadoop/common/hadoop-2.2.0/hadoop-2.2.0-src.tar.gz然后解压：tarzxvfhadoop
sheismylife·2014-02-22 01:00

centos集群上安装ganglia-3.6.0监控hadoop-2.2.0和hbase-0.96.0

Ganglia是UCBerkeley发起的一个开源监视项目，设计用于测量数以千计的节点。每台计算机都运行一个收集和发送度量数据（如处理器速度、内存使用量等）的名为gmond的守护进程。它将从操作系统和指定主机中收集。接收所有度量数据的主机可以显示这些数据并且可以将这些数据的精简表单传递到层次结构中。正因为有这种层次结构模式，才使得Ganglia可以实现良好的扩展。gmond带来的系统负载非常少，这
hxpjava1·2014-02-19 16:00

spark-0.8.1安装——hadoop-2.2.0 x64

Hadoop-2.2.0x64编译1.hadoop源码hadoop-2.2.0-src.tar.gz下载并解压2.安装必要工具：yuminstallmavenncurses-developenssl-develcmake3.编译： 3.1cdhadoop-2.2.0-src 3.2mvnpackage-Pdist,native-DskipTests-Dtar生成的发布包为hadoop-dist/t
lzshlzsh·2014-02-10 19:00
上一页 1 2 3 4 5 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他