mapreduce2

Hadoop: MapReduce2多个job串行处理

复杂的MapReduce处理中，往往需要将复杂的处理过程，分解成多个简单的Job来执行，第1个Job的输出做为第2个Job的输入，相互之间有一定依赖关系。以上一篇中的求平均数为例，可以分解成三个步骤： 1. 求Sum 2. 求Count 3. 计算平均数 每1个步骤看成一个Job，其中Job3必须等待Job1、Job2完成，并将Job1、Job2的输出结果做为输入，下面的代码演示了如何将这
·2015-05-30 15:00

关于Yarn

Mapreduce2的设计需求：可靠性；可用性；扩展性；向后兼容；演化；可预测延迟；集群利用率；支持除Mapreduce编程框架外的其他框架；支持受限和短期的服务。 
vmezr·2015-04-03 10:00

Hadoop之RandomTextWriter使用

是为了mock数据集的，做压测等，MRv1和MRv2的参数值不一样，不过其参数标示含义一样，我们以MRv2来做说明： 产生100G的数据： bin/hadoop jar share/hadoop/mapreduce2
小网客·2014-04-15 17:00

Hadoop之RandomTextWriter使用

是为了mock数据集的，做压测等，MRv1和MRv2的参数值不一样，不过其参数标示含义一样，我们以MRv2来做说明： 产生100G的数据： bin/hadoop jar share/hadoop/mapreduce2
小网客·2014-04-15 17:00

加速MapReduce2

背景    原文链接：GettingMapReduce2UptoSpeed    因为文章中采用的改善措施，CDH5让MapReduce2中作业的速度和MapReduce1的速度一样（甚至更快）。    
WuyouJie2008·2014-03-04 11:00

YARN and MapReduce2 Memory

YARN is a generic platform for any form of distributed application to run on, while MapReduce2 is one
sunwinner·2013-07-07 12:00
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他