Hadoop2.0

baidu vs google 不在一个等级上的

看到一篇文章说baidu要发布一个hadoop2.0的东西。 
freewebsys·2013-03-04 15:00

Apache Hadoop2.0之HDFS均衡操作分析

 1HDFS均衡操作原理HDFS默认的块的副本存放策略是在发起请求的客户端存放一个副本，如果这个客户端在集群以外，那就选择一个不是太忙，存储不是太满的节点来存放，第二个副本放在与第一个副本相同的机架但是不同节点上，第三个放在与第二个和第一个副本不同的机架上，原则是尽量避免在相同的机架上放太多的副本。随着时间的推移，在各个DataNode节点上的数据块会分布的越来越不均衡。如果集群不均衡的程度很严重
can007·2013-01-04 22:00

Hadoop2.0 编写Yarn应用 8030端口 调度

这个问题比较蛋疼啊，yarn应用不是自己写的(借鉴他人滴)，为了兼容mapreduce v1 所以使用了 org.apache.hadoop.mapreduce.Job 这个类来做客户端连接 如果不考虑兼容问题，可以直接使用 org.apache.hadoop.mapred.JobClient 来说说我碰到的这个问题：在多次执行yarn应用后，发现有成功有失败，而且几率不一定。 这种问题恼
跑轮里的冠军·2012-12-26 19:00

Hadoop 2.0中的基本术语解释

但必须以超链接形式标明文章原始出处和作者信息及版权声明网址:http://dongxicheng.org/mapreduce-nextgen/hadoop-2-0-terms-explained/在阅读Hadoop2.0
Dong·2012-12-23 22:00

Hadoop 2.0中的基本术语解释

但必须以超链接形式标明文章原始出处和作者信息及版权声明网址:http://dongxicheng.org/mapreduce-nextgen/hadoop-2-0-terms-explained/在阅读Hadoop2.0
Dong·2012-12-23 14:00

hadoop2.0配置

Hadoop2.0简述[1]与之前的稳定的hadoop-1.x相比，ApacheHadoop2.x有较为显著的变化。这里给出在HDFS和MapReduce两方面的改进。
vieky·2012-12-17 21:00

Apache Hadoop2.0 安装部署说明

ApacheHadoop2.0安装部署1.环境说明       Hadoop的版本选用的hadoop-2.0.2-alpha，此版本的hadoop增加了诸如Fedreation等许多新功能。是目前ApacheHadoop最新的版本。       Apache-Hadoop下载地址：       http://www.apache.org/dyn/closer.cgi/hadoop/common/ 
can007·2012-12-15 11:00

HADOOP2.0,Exception java.lang.NoClassDefFoundError: org/apache/hadoop/mapreduce/v2/app/MRAppMaster

一、问题运行yarn的MR程序，发现出现问题，报错：Exceptioninthread"main"java.lang.NoClassDefFoundError:org/apache/hadoop/mapreduce/v2/app/MRAppMasterCausedby:java.lang.ClassNotFoundException:org.apache.hadoop.mapreduce.v2.a
bxyz1203·2012-10-21 14:59

HADOOP2.0,Exception java.lang.NoClassDefFoundError: org/apache/hadoop/mapreduce/v2/app/MRAppMaster

一、问题运行yarn的MR程序，发现出现问题，报错：Exceptioninthread"main"java.lang.NoClassDefFoundError:org/apache/hadoop/mapreduce/v2/app/MRAppMaster Causedby:java.lang.ClassNotFoundException:org.apache.hadoop.mapreduce.v2.
bxyz1203·2012-10-21 14:00

编译hadoop2.0(0.23.0)及运行的一些问题

svnco http://svn.apache.org/repos/asf/hadoop/common/tags/release-2.0.0-alphaxxxlinux：参考$HADOOP_HOME/BUILDING.txt及$HADOOP_HOME/hadoop-mapreduce-project/INSTALL（ps，我开始没有注意这两个文件，所以我以下都是一步一步调试，纠结，痛苦中写出来了。
bxyz1203·2012-10-18 20:00

hadoop 2.0 详细配置教程

Hadoop2.0集群配置详细教程前言Hadoop2.0介绍Hadoop是apache的开源项目，开发的主要目的是为了构建可靠，可拓展scalable，分布式的系统，hadoop是一系列的子工程的总和，
linuxchyu·2012-10-02 00:00

html调用hadoop WebHDFS REST API

docs/current/hadoop-yarn/hadoop-yarn-site/WebHDFS.html通过RESTAPI能完成很多，如上传下载，查看文件，创建目录等操作.本地的hadoop版本是hadoop2.0
chcearth·2012-08-17 14:32

html调用hadoop WebHDFS REST API

docs/current/hadoop-yarn/hadoop-yarn-site/WebHDFS.html通过RESTAPI能完成很多，如上传下载，查看文件，创建目录等操作.本地的hadoop版本是hadoop2.0
chcearth·2012-08-17 14:32

CDH4+hive报错

hive查询时报了这个错误：java.lang.NoClassDefFoundError:org/apache/hadoop/mapreduce/util/HostUtil环境是CDH4使用MRv1的hadoop2.0
chcearth·2012-08-14 10:26

hadoop 2.0 安装向导

blog.csdn.net/shenshouer/article/details/7613234   Hadoop 2.0 安装向导 (0.23.x) 最新版本的HADOOP2.0
thinktothings·2012-07-25 08:00

搭建Hadoop2.0自带实例运行

1. 运行wordcount[7]      Wordcount相当于helloword这样的程序，不必多说。在平台正常启动的情况下，建立input的文件夹和两个文件test1，test2，充填大量的“helloworld”和“hellohadoop”。将input上传到hdfs上，命令为haoopfs–put/usr/lib/hadoop2.0.0-alpha/input/*input。然后在/
·2012-07-17 13:00

搭建Hadoop2.0（三）自带实例运行

1.运行wordcount[7]      Wordcount相当于helloword这样的程序，不必多说。在平台正常启动的情况下，建立input的文件夹和两个文件test1，test2，充填大量的“helloworld”和“hellohadoop”。将input上传到hdfs上，命令为haoopfs–put/usr/lib/hadoop2.0.0-alpha/input/*input。然后在/s
·2012-07-17 11:00

搭建Hadoop2.0

搭建Hadoop2.0（二）hadoop环境配置 搭建Hadoop2.0（一）系统环境基本配置1. 安装ubuntu10.04为了和合作公司的产品匹配，选择了ubuntu10.04操作系统。
·2012-07-17 09:00

搭建Hadoop2.0（二）hadoop环境配置

 1.Hadoop2.0简述[1]与之前的稳定的hadoop-1.x相比，ApacheHadoop2.x有较为显著的变化。这里给出在HDFS和MapReduce两方面的改进。HDFS:为了保证name服务器的规模水平，开发人员使用了多个独立的Namenodes和Namespaces。这些Namenode是联合起来的，它们之间不需要相互协调。Datanode可以为所有Namenode存放数据块，每个
·2012-07-16 23:00

搭建Hadoop2.0（一）系统环境基本配置

1.安装ubuntu10.04为了和合作公司的产品匹配，选择了ubuntu10.04操作系统。安装方法如下：（1）安装vmware8.0.（2）新建一个虚拟机，选择“Iwillinstalltheoperationsystemlater”。在Setting中的CD/DVD(IDE)选择加载ISO，然后安装。直接安装会导致进入不了图形界面。（3）虚拟机中的安装过程很漫长，在79%的时候死机一次。后来
·2012-07-06 13:00

关于hadoop2.0自定义计数器

最近写了个mapReduce进行数据分析，发现数据不合理，想写一个计数器对某些发生异常的记录进行计数，但是查看了《hadoop权威指南》后发现使用的API是1点几 ，在网上搜到的也是1点几的例子，都用到了reporter，但是现在2.0后已经不用他，map 和reduce也是从mapReuce.Mapper或mapReduce.Reducer来继承，一下是使用计数器的例子，map方法内部分代码：
lbxhappy·2012-06-07 11:00

Hadoop 2.0 安装向导

最新版本的HADOOP2.0与老版本相比有不同的目录结构。本文将介绍一种简单安装Hadoop2.0到你的电脑上的方法（Hadoop0.23安装）。
donson_x64·2012-06-05 19:46

Hadoop 2.0.0-alpha尝鲜安装和hello world

仅供测试学习的文章，不推荐在生产环境使用2.0，因为2.0采用YARN，hive，hbase，mahout等需要map/reduceV1的可能无法使用hadoop2.0或者会出现意外情况。
Slaytanic·2012-06-01 23:00

Hadoop 2.0.0-alpha尝鲜安装和hello world

仅供测试学习的文章，不推荐在生产环境使用2.0，因为2.0采用YARN，hive，hbase，mahout等需要map/reduceV1的可能无法使用hadoop2.0或者会出现意外情况。
Slaytanic·2012-06-01 23:00

Hadoop 2.0 安装向导 (0.23.x)

Hadoop2.0安装向导(0.23.x)最新版本的HADOOP2.0与老版本相比有不同的目录结构。本文将介绍一种简单安装Hadoop2.0到你的电脑上的方法（Hadoop0.23安装）。
shenshouer·2012-05-29 16:00
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他