Hadoop2.0

hdfs-ha热备原理

下面的总结来自于：http://dongxicheng.org/hadoop-hdfs/hdfs-ha-federation-deploy/            Hadoop2.0中的HDFS增加了两个重大特性
dengqsintyt·2014-06-21 14:00

VMware宣布Big Data Extensions 2.0 GA

vSphereBigDataExtensions(BDE)的最新2.0版支持主要Hadoop软件供应商提供的所有当前版本，包括YARN以及Hadoop2.0。
vBigData·2014-06-20 10:12

VMware宣布Big Data Extensions 2.0 GA

vSphereBigDataExtensions(BDE)的最新2.0版支持主要Hadoop软件供应商提供的所有当前版本，包括YARN以及Hadoop2.0。
vBigData·2014-06-20 10:12

Bad connect ack with firstBadLink 192.168.*.*:50010

 今天搭建hadoop2.0时hadoopfs -put 文件时报错，看到网上有这样的解决方法先转载下呵呵已解决 转自：http://lykke.iteye.com/blog/1320558Exceptioninthread"main"java.io.IOException
gcoandchao·2014-06-15 02:30

Bad connect ack with firstBadLink 192.168.*.*:50010

今天搭建hadoop2.0时hadoopfs-put文件时报错，看到网上有这样的解决方法先转载下呵呵已解决转自：http://lykke.iteye.com/blog/1320558Exceptioninthread"main"java.io.IOException
super_gao·2014-06-15 02:30

apache的hadoop升级到CDH hadoop2.0时遇到的问题及解决

1：引入的jar包 1.X版本有hadoop-core包；而2.x没有 如果你需要hdfs就引入\share\hadoop\common\lib +  hadoop-common-2.0.0-cdh4.6.0.jar + hadoop-hdfs-2.0.0-cdh4.6.0.jar + \share\hadoop\yarn\*   如果你要MR则加上 \shar
·2014-06-11 16:00

【伊利丹】Hadoop2.0 NN HA实验记录

转一篇团队兄弟伊利丹写的文章，原文：http://blog.csdn.net/fulongfbi/article/details/28418393-----------------------------------------------1.关于Hadoop2.2.0中HA的介绍NameNode简称：NN DateNode简称：DNJournalNode 简称：JNZookeeper 简称：ZK
u010967382·2014-06-05 13:00

基于hadoop 2.0 的hbase "Unable to load native-hadoop library for your platform" 问题解决

在基于hadoop2.0的hbase上执行命令，经常会看到如下提示：WARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform
vah101·2014-06-05 12:00

HDFS HA 部署安装

1.HDFS2.0基本概念 相比于Hadoop1.0,Hadoop2.0中的HDFS增加了两个重大特性,HA和Federaion。
wbj0110·2014-06-01 10:00

HDFS HA 部署安装

1.HDFS2.0基本概念 相比于Hadoop1.0,Hadoop2.0中的HDFS增加了两个重大特性,HA和Federaion。
wbj0110·2014-06-01 10:00

YARN内存使用优化配置

在Hadoop2.0中,YARN负责管理MapReduce中的资源(内存,CPU等)并且将其打包成Container.这样可以精简MapReduce,使之专注于其擅长的数据处理任务,将无需考虑资源调度.
kjkhi·2014-05-30 17:00

Hadoop 2.0(YARN/HDFS)学习资料汇总

本文档整理了迄今为止Hadoop2.0（包括YARN和HDFS2）相关的一些学习资料，包括文档、技术博客、Hadoop书籍等，欢迎大家补充，我将持续更新这个页面。
颜建海·2014-05-28 15:00

MapReduce 代码经验集合

一个有趣的例子是hadoop2.0的hadoop-mapreduce-examples中的grep，通过InverseMapper将键值对转换成。
book_mmicky·2014-05-13 15:00

hadoop 2.04测试环境搭建

1：规划oraclelinux6.4上搭建hadoop2.0环境192.168.100.171linux1(namenode)192.168.100.172linux2(预留当namenode)192.168.100.173linux3
book_mmicky·2014-05-13 15:00

hadoop2.0 新一代map reduce 框架 yarn 配置

以前一直用的0.20的mapreduce框架,今天配置一下yarn,很久不写BO-KE了,来一篇吧,把几个主要配置文件贴出来,配置修改后,运行wordcount和自己的测试job全ok,core-site.xml:       fs.defaultFS     hdfs://fc20:9000           hadoop.tmp.dir     /home/ljq/hadoop/tmp   
ljq32·2014-05-08 20:00

hadoop2.0详细配置教程

hadoop2.0详细配置教程作者：杨鑫奇PS：文章有部分参考资料来自网上，并经过实践后写出，有什么问题欢迎大家联系我。
XmlRequest·2014-05-06 09:00

hadoop2.0 snappy 压缩的安装和配置

snappy压缩在hadoop中不是自带的，本文介绍在hadoop2.0中安装和配置snappy压缩，使hadoop2.0支持snappy压缩。
maisr25·2014-05-02 11:48

hadoop2.0 lzo压缩的安装和配置

本文介绍了在hadoop2.0上安装和配置lzo，同样也适用于hadoop1.0。1安装linux的lzo库需要在集群的每一个节点都安装lzo库，假定都64位的机器。
maisr25·2014-05-01 19:36

hadoop2.0 lzo压缩的安装和配置

本文介绍了在hadoop2.0上安装和配置lzo，同样也适用于hadoop1.0。1安装linux的lzo库需要在集群的每一个节点都安装lzo库，假定都64位的机器。
maisr25·2014-05-01 19:36

Hadoop面试和学习小结[2013版]

[2013UPDATE]Hadoop2.0转型基本无可阻挡，今年下半年要正式发布了，它的出现让大家知识体系都要更新了。Hadoop1.0搞了8年才发布，2.0不到2年就出来了。
hellobinfeng·2014-05-01 04:00

hadoop源码 - HDFS write流程分析(Hadoop2.0)

Write操作是HDFS最基本的操作之一，一般是先create一个文件然后write内容。这篇文章主要讲用户调用FileSystemAPT向HDFS写入数据时，HDFS是怎么工作的。1，client发起create请求。通过DistributedFileSystem.create()方法创建文件，其实就是通过DistributedFileSystem内部wrapper的DFSClient向Name
Mrknowledge·2014-04-30 15:00

第一章--hadoop2.1.0和hadoop2.2.0编译安装教程

 由于现在hadoop2.0还处于beta版本，在apache官方网站上发布的beta版本中只有编译好的32bit可用，如果你直接下载安装在64bit的linux系统的机器上，运行会报一个INFOutil.NativeCodeLoader-Unabletoloadnative-hadooplibraryforyourplatform
ly5156·2014-04-29 22:00

hadoop2.0 NFS方式的HA的配置

NFS的方式的HA的配置与启动，和QJM方式基本上是一样，唯一不同的地方就是activenamenode和standbynamenode共享edits文件的方式，QJM方式是采用journalnode来共享edits文件，而NFS方式则是采用NFS远程共享目录来共享edits文件。1准备文中描述的机器角色包含2个namenode：namenode1namenode2其中namenode1为acti
maisr25·2014-04-26 22:20

HDFS HA 部署安装

1.HDFS2.0基本概念相比于Hadoop1.0,Hadoop2.0中的HDFS增加了两个重大特性,HA和Federaion。
w13770269691·2014-04-25 12:00

hadoop2.x和hadoop1.x的区别

hadoop2.0解决了hadoop1.x版本的一些问题如：1.解决了namenode单点故障问题。2.解决namenode内存压力过大难以扩展问题。3.解决JobTracker单点故障问题。
蓝狐乐队·2014-04-11 11:00

hadoop2.0 federation与HA的配置

在上一篇文章《hadoop2.0federation的配置》中介绍了单独配置federation，本文继续介绍同时配置HA和federation。关于zookeeper的安装和配置，这里不做介绍，大家可以参考网上的资料。1准备 假定已经有一个zookeeper集群，包含3个zookeeper节点：zookeeper1zookeeper2zookeeper3另外，还有4个namenode节点：nam
maisr25·2014-04-08 20:31

hadoop2.0 federation的配置

1准备文中描述的机器角色包含2个namenode：namenode1namenode2其他机器角色本文中不涉及的可以参考《hadoop2.0的安装和基本配置》一文。2fede
maisr25·2014-04-08 15:01

hadoop2.0 federation介绍

在hadoop2.0架构中，namenodefederation（联合）通过多个namenode/namespace把元数据的存储
maisr25·2014-04-07 13:15

Hadoop 2.0稳定版本2.2.0新特性剖析

Hadoop2.0的第一个稳定版本2.2.0于2013年10月15如发布了，这个版本是继1.0.0版本后，又一个具有里程碑意义的版本，这意味着Hadoop进入2.0时代。
Mrknowledge·2014-04-05 22:00

hadoop2.0集群搭建详解

hadoop2.2.0集群搭建本贴转载自：http://my.oschina.net/allen1088/blog/214511    PS：apache提供的hadoop-2.2.0的安装包是在32位操作系统编译的，          因为hadoop依赖一些C++的本地库，所以如果在64位的操作上安装           hadoop-2.2.0就需要重新在64操作系统上重新编译1.准备工作:
bluetropic·2014-04-05 10:00

hadoop2.0 HA的主备自动切换

在《hadoop2.0QJM方式的HA的配置》一文中介绍了HA的配置，是通过手工进行主备切换的。本文在这基础上，继续介绍HA的主备自动切换（automaticfailover）的配置。自动切换是通过配置zookeeper来实现的，关于zookeeper的安装和配置，在这里不做介绍了，大家可以参考网上的资料。1准备 假定已经有一个zookeeper的集群，3台机器如下：zookeeper1zooke
maisr25·2014-04-02 10:37

hadoop2.0集群搭建详解

hadoop2.2.0集群搭建    PS：apache提供的hadoop-2.2.0的安装包是在32位操作系统编译的，          因为hadoop依赖一些C++的本地库，所以如果在64位的操作上安装           hadoop-2.2.0就需要重新在64操作系统上重新编译1.准备工作:(参考伪分布式搭建)        1.1修改Linux主机名        1.2修改IP   
迪allen·2014-03-31 00:00

hadoop2.0 QJM方式的HA的配置

本文在《hadoop2.0的安装和基本配置》一文的基础上继续介绍hadoop2.0QJM（QuorumJournalManager）方式的HA的配置（hadoop2.0架构，具体版本是hadoop2.2.0
maisr25·2014-03-22 23:34

hadoop2.0的HA介绍

第一篇文章介绍了hadoop2.0（hadoop2.0架构，具体版本是hadoop2.2.0）的安装和最基本的配置，并没有配置HA（HighAvalability，高可用性），接下来的文章中会介绍hadoop2.0HA
maisr25·2014-03-22 21:31

hadoop 1.0跟hadoop2.0对比

HadoopMapReduceV2(Yarn)框架简介原HadoopMapReduce框架的问题对于业界的大数据存储及分布式处理系统来说，Hadoop是耳熟能详的卓越开源分布式文件存储及处理框架，对于Hadoop框架的介绍在此不再累述，读者可参考Hadoop官方简介。使用和学习过老Hadoop框架（0.20.0及之前版本）的同仁应该很熟悉如下的原MapReduce框架图：图1.Hadoop原Map
dwp111·2014-03-17 15:16

hadoop 1.0跟hadoop2.0对比

HadoopMapReduceV2(Yarn)框架简介原HadoopMapReduce框架的问题对于业界的大数据存储及分布式处理系统来说，Hadoop是耳熟能详的卓越开源分布式文件存储及处理框架，对于Hadoop框架的介绍在此不再累述，读者可参考Hadoop官方简介。使用和学习过老Hadoop框架（0.20.0及之前版本）的同仁应该很熟悉如下的原MapReduce框架图：图1.Hadoop原Map
dwp111·2014-03-17 15:16

hadoop2.2.0 的安装和基本配置

hadoop2.0的架构和1.0完全不一样，在安装配置上和1.0也有很大的不同，譬如配置文件的目录不一样了，还有要对yarn进行配置，这个在1.0是没有的。
maisr25·2014-03-16 20:37

简短使用的HADOOP2版本的安装配置

hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFSHA、YARN等。
xiangaichou·2014-03-13 09:00

淘宝主搜索离线集群完成hadoop2.0升级

搜索离线dump集群(hadoop&hbase)2013进行了几次重大升级:2013-04第一阶段，主要是升级hdfs为2.0版本，mapreduce仍旧是1.0;同时hbase也进行了一次重大升级（0.94.5版本）,hive升级到0.9.0;2013-09,2013-12第二阶段,主要升级mapreduce到2.0版本即(YARN),hive升级到0.10.0,在13年年底的时候对hbase进
天风·2014-03-12 01:00

Yarn（MapReduce 2.0）下分布式缓存（DistributedCache）的注意事项

1、问题最近公司的集群从Apachehadoop0.20.203升级到了CDH4，迈进了Hadoop2.0的新时代，虽然新一代的hadoop努力做了架构、API上的各种兼容，但总有“照顾不周”的地方，下面说的这个有关分布式缓存的案例就是于此有关
xrzs·2014-03-08 02:00

[RM 状态机详解1] RMApp状态机详解

Hadoop2.0当前包含十个状态机，分别是： ResourceManager下RMApp，RMAppAttempt，
·2014-03-07 15:00

hadoop1.0向hadoop2.0 distcp数据

报错：java.io.IOException:Check-summismatchbetweenhftp://zw-tvhadoop-master:50070/user/hive/warehouse/pvlog_depth_rcfile/dt=20140306/_logs/history/job_201401231451_357062_1394133462287_tvhadoop_mapred-ex
小胖头鱼·2014-03-07 11:46

Hadoop生态系统介绍

Hadoop的核心是HDFS和Mapreduce，hadoop2.0还包括YARN。
行者无疆_路过·2014-02-22 16:47

Hadoop生态系统介绍

Hadoop的核心是HDFS和Mapreduce，hadoop2.0还包括YARN。
woshiwanxin102213·2014-02-22 16:00

ambari方式安装hadoop的hive组件遇到的问题

问题描述：通过ambari工具搭建了hadoop2.0完全分布式集群。在测试hive的时候，按照官方文档里的说明通过下面命令检查根目录的时候：总是报错无法连接mysql。
51longge·2014-02-20 14:47

Hadoop2.0应用 - 基于Yarn的淘宝海量数据服务平台

概要随着网站规模和业务的发展，阿里集团旗下的各家子公司积累了大量数据，为了分析这些数据，计算平台的种类增多规模也不断扩大。作为其中最大的计算云梯平台，尝试解决目前面临单节点扩展性瓶颈及多个计算平台的资源浪费问题，在考察多个平台后引入了YARN平台。本议题介绍YARN及阿里巴巴云梯集群在YARN方面的尝试及目前的状态。个人简介曹龙（封神），阿里巴巴海量数据平台高级开发工程师，微博:@封神无度，个人主
曹龙·2014-02-15 00:00

spark集群安装

这里是结合hadoop2.0使用的1，download:http://spark.incubator.apache.org/downloads.html选择prebuilt:中hadoop2的下载，hadoop
liuzhoulong·2014-02-10 19:00

BookKeeper设计介绍及其在Hadoop2.0 Namenode HA方案中的使用分析

BookKeeper背景BK是一个可靠的日志流记录系统，用于将系统产生的日志(也可以是其他数据)记录在BK集群上，由BK这个第三方Storage保证数据存储的可靠和一致性。典型场景是系统写write-aheadlog，即先把log写到BK上，再对log做处理，比如将log写到内存的数据结构中。BookKeeper同时适用于任何单点写入并要求保证高性能和数据不丢失（StrongDurabiltyGu
zbf8441372·2014-01-20 17:00

eclipse 导入hadoop2.2源代码

编译2.2源码因为Hadoop2.0使用了ProtocolBuffers定义了RPC协议，而
jueshengtianya·2014-01-16 19:00

hive-0.12安装详解

>>>-----成王败寇（陈小春）Hive安装部署（安装会有版本问题hadoop1.0版本以上的请安装hive-0.90测试hadoop2.0以上请安装hive-0.12.0或者最新版测试）hive-0.9.0
weixin_34218890·2014-01-13 19:00
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他