二次排序

MapReduce里面的二次排序、组排序和Partitioner

在MapReduce程序中，我们常常需要对属于同一个key的value进行排序，即“二次排序”，将key和value进行组合，合并成一个新的key，给map去排序。
FacingTheSunCN·2013-03-24 14:00

hadoop二次排序

1.二次排序概念：首先按照第一字段排序，然后再对第一字段相同的行按照第二字段排序，注意不能破坏第一次排序的结果。如：输入文件：2021505150525
dandingyy·2013-03-08 20:00

hadoop二次排序

1.二次排序概念：首先按照第一字段排序，然后再对第一字段相同的行按照第二字段排序，注意不能破坏第一次排序的结果。如：输入文件：2021505150525
dandingyy·2013-03-08 20:00

hadoop 二次排序 插入数据库

     二次排序:根据自定义对象的compareTo 方法排序     由下面的代码实现可以看出 二次排序的实质是 先根据第一个字段排完序后再排第二个字段
xjward·2013-02-27 18:00

poj1788

大致思路：由于每个点都是在坐标点出并且在篱笆的拐弯处，所以任意横坐标或者纵坐标上的点都是偶数个的，要求篱笆的长度最小，所以就要求出最近的横坐标或者纵坐标相等的两个点的距离，有qsort函数二次排序，用纵坐标横坐标分别进行求的就可以了
xuezhongfenfei·2013-01-26 14:00

CF 19A World Football Cup

注意字符串大小的比较及结构体的二次排序#include #include #include #definesize60 structnode{ intgoal,mgoal,point,dif; charname
yan_____·2013-01-25 14:00

Pangool:行走在mapreduce之上

特性：支持三元组而不是key-value（直观上三元组的确能对group、sort、join等操作有更好的支持）简单的二次排序方式内建的reduce端连接保持性能的同时提高灵活性（保持性
posa88·2013-01-23 15:00

BNUOJ 14362 Election Time

第二次排序要求把这k个里面b值最大的提取出来，并输出序号。
sssogs·2013-01-13 11:00

mapreduce二次排序

关于二次排序主要涉及到这么几个东西：在0.20.0 以前使用的是setPartitionerClass setOutputkeyComparatorClasssetOutputValueGroupingComparator
haojun186·2013-01-09 16:00

hadoop二次排序(合集)

可以看到，这本身就是一个二次排序。如果没有通过job.setSortComparatorClass设置key比较函数类，则使用key的实现的compare
caodaoxi·2012-12-30 17:00

hadoop二次排序(合集)

可以看到，这本身就是一个二次排序。如果没有通过job.setSortComparatorClass设置key比较函数类，则使用key的实现的compare
caodaoxi·2012-12-30 17:00

Hadoop二次排序

p=34 我想涉及到文件的Join操作应该都要使用到二次排序吧，之前我用字符串拼接的方法显得太不专业了，本来在reduce过程中是不需要保存这些数据的，遍历一次便可以将记录全部collect好。
caodaoxi·2012-12-30 17:00

Hadoop二次排序

p=34 我想涉及到文件的Join操作应该都要使用到二次排序吧，之前我用字符串拼接的方法显得太不专业了，本来在reduce过程中是不需要保存这些数据的，遍历一次便可以将记录全部collect好。
caodaoxi·2012-12-30 17:00

MapReduce的排序和二次排序

自己学习排序和二次排序的知识整理如下。
caodaoxi·2012-12-30 17:00

MapReduce的排序和二次排序

自己学习排序和二次排序的知识整理如下。
caodaoxi·2012-12-30 17:00

MapReduce的排序和二次排序

自己学习排序和二次排序的知识整理如下。
caodaoxi·2012-12-30 17:00

hadoop二次排序三

例子2：packagetemp;importjava.io.DataInput;importjava.io.DataOutput;importjava.io.IOException;importorg.apache.hadoop.io.Text;importorg.apache.hadoop.io.WritableComparable;publicclassStringPairimplements
july_2·2012-11-13 11:00

hadoop二次排序二

例子1：packageexample;importjava.io.IOException;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.client.Get;importorg.apache.hadoop.hbase.client.HTable;importorg.apache.hadoop.hba
july_2·2012-11-13 11:00

hadoop二次排序一

可以看到，这本身就是一个二次排序。如果没有通过job.setSortComparatorClass设置key比较函数类，则使用key的实现的compareTo方法。
july_2·2012-11-13 10:00

POJ 2012金华邀请赛 (持续更新)

第一题，水题，但是题目读了很久，英语功底果然很差，主要是第二次排序的时候是按位排序，先按个位从小到大，然后是十位从小到大。题目描述太奇葩，这句话领会了很久。。
kdqzzxxcc·2012-11-02 13:00

Hadoop Streaming 实战： 二次排序

我们知道，一个典型的Map-Reduce过程包括：Input->Map->Patition->Reduce->Output。Pation负责把Map任务输出的中间结果按key分发给不同的Reduce任务进行处理。Hadoop提供了一个非常实用的partitioner类KeyFieldBasedPartitioner，通过配置相应的参数就可以使用。通过KeyFieldBasedPartitioner
liuxincumt·2012-08-28 14:00

Hadoop中两表JOIN的处理方法

原帖地址：董的博客Dong的这篇博客我觉得把原理写的很详细，同时介绍了一些优化办法，利用二次排序或者布隆过滤器，但在之前实践中我并没有在join中用二者来优化，因为我不是作join优化的，而是做单纯的倾斜处理
kingjinzi_2008·2012-08-11 11:00

hadoop之二次排序

mr自带的例子中的源码SecondarySort，我重新写了一下，基本没变。这个例子中定义的map和reduce如下，关键是它对输入输出类型的定义：（java泛型编程）publicstaticclassMapextendsMapperpublicstaticclassReduceextendsReducer1首先说一下工作原理：在map阶段，使用job.setInputFormatClass定义的
huashetianzu·2012-08-07 10:00

归并排序

归并排序可用递归完成，第一次排序将序列分成两部分，第二次排序将两序列在分成两部分，如此下去，直到每个子序列只有一个元素，则子序列自然有序，然后合并即可。归并操作的工作原理如下：1.申请空间，使其大小为
RO_wsy·2012-06-27 14:00

hadoop二次排序

importjava.io.IOException; importorg.apache.hadoop.conf.Configuration; importorg.apache.hadoop.fs.Path; importorg.apache.hadoop.io.IntWritable; importorg.apache.hadoop.io.LongWritable; importorg.apac
larrylgq·2012-05-21 17:00

mapreduce的二次排序 SecondarySort

mapreduce的二次排序SecondarySort关于二次排序主要涉及到这么几个东西：在0.20.0 以前使用的是setPartitionerClass setOutputkeyComparatorClasssetOutputValueGroupingComparator
zyj8170·2012-05-03 10:00

MapReduce的排序和二次排序

  自己学习排序和二次排序的知识整理如下。
hugh.wangp·2012-04-20 10:00

【原】MapReduce的排序和二次排序

自己学习排序和二次排序的知识整理如下。
·2012-04-20 02:00

mapreduce的二次排序 SecondarySort

http://www.cnblogs.com/xuxm2007/archive/2011/09/03/2165805.html关于二次排序主要涉及到这么几个东西：在0.20.0 以前使用的是setPartitionerClass
yiboo·2012-03-05 15:00

对Hadoop二次排序的理解

满足这种需求一是可以在reduce阶段排序收集过来的values，但是，如果有数量巨大的values可能就会导致内存溢出等问题，这就是二次排序应用的场景——将对值的排序也安排到MR计算过程之中，而不是单独来做
tinyid·2011-11-11 02:41

对Hadoop二次排序的理解

满足这种需求一是可以在reduce阶段排序收集过来的values，但是，如果有数量巨大的values可能就会导致内存溢出等问题，这就是二次排序应用的场景——将对值的排序也安排到MR计算过程之中，而不是单独来做
cnweike·2011-11-11 02:00

Hadoop二次排序

MapReduce框架在把记录到达reducers之前会将记录按照键排序。对于任意一个特殊的键，然而，值是不排序的。甚至是，值在两次执行中的顺序是不一样的，原因是它们是从不同的map中来的，这些不同的map可能在不同的执行过程中结束的先后顺序不确定。通常情况下，大多数的MapReduce程序的reduce函数不会依赖于值的顺序。然而，我们也可通过以一种特殊的方式排序和分组键，来指定值的顺序。要说明
tinyid·2011-11-10 01:59

冒泡排序（升序）

冒泡排序（升序）原理： 对5,4,7,9,3这些数字进行排序： 第一次排序，把5与4进行比较，4<5，所以4与5的位置进行交换，结果为4,5,7,9,3; 第二次排序，把5与7进行比较，
xiaoming123123·2011-10-19 18:00

一步一步写算法（之选择排序）

我们可以以下面一组数据作为测试：   2，1，5，4，9   第一次排序：1，2，5，4，9  第二次排序：1，2，5，4，9   第三次排序：1，2，4，5，9
feixiaoxing·2011-10-14 21:00

一步一步写算法（之选择排序）

我们可以以下面一组数据作为测试： 2， 1， 5， 4， 9 第一次排序：1， 2， 5， 4， 9 第二次排序： 1， 2， 5， 4， 9
javasee·2011-10-14 21:00

MapReduce中的排序

可以看到，这本身就是一个二次排序。如果没有通过job.setSortComparatorClass设置key比较函数类，则使用key的实现的c
chjjunking·2011-09-13 14:00

setOutputValueGroupingComparator与setOutputKeyComparatorClass

再加上JobConf.setOutputKeyComparatorClass(Class)可用于控制中间过程的key如何被分组，所以结合两者可以实现按值的二次排序。
chjjunking·2011-09-04 11:00

Data-Intensive Text Processing with MapReduce第三章（5）-MapReduce算法设计-3.4 二次排序

3.4二次排序MapReduce在清洗（shuffle）和排序（sort）阶段用键来为中间键值对排序，如果reducer中的计算依赖于排序顺序的话就非常简单（即之前章节说到的顺序反转模式）。
laigood12345·2011-07-23 09:00

MapReduce二次排序

默认情况下，map后会对key进行默认排序，但是有时候需要对key排序的同时再对value进行排序，这时候就要用到二次排序，一步到位。
aronlulu·2011-04-04 15:00

hadoop二次排序中对组合键，分区，分组的一点应用

hadoop二次排序中对组合键，分区，分组的一点应用   这两天看Hadoop的排序方面的问题，看到了下面这篇文章，觉得挺好，结合自己已经了解的知识，将排序、对组合键的使用等方面的知识有个更清楚的认识，
herb·2010-12-08 11:00

mapreduce的二次排序

mr自带的例子中的源码SecondarySort，我重新写了一下，基本没变。 这个例子中定义的map和reduce如下，关键是它对输入输出类型的定义：（java泛型编程） public static class Map extends Mapper<LongWritable, Text, IntPair, IntWritable> public static class
p_x1984·2010-11-02 09:00

mapreduce的二次排序

mr自带的例子中的源码SecondarySort，我重新写了一下，基本没变。 这个例子中定义的map和reduce如下，关键是它对输入输出类型的定义：（java泛型编程） public static class Map extends Mapper<LongWritable, Text, IntPair, IntWritable> public static class
p_x1984·2010-11-02 09:00

Map/Reduce中分区和分组的问题

二、什么是分区1、还是举书上的例子，在8.2.4章节的二次排序过程中，用气温举例，所以这里我也将这个例子说一下。
dajuezhao·2010-10-27 09:00

mapreduce编程（一）－二次排序

mr自带的例子中的源码SecondarySort，我重新写了一下，基本没变。这个例子中定义的map和reduce如下，关键是它对输入输出类型的定义：（java泛型编程） publicstaticclassMapextendsMapperpublicstaticclassReduceextendsReducer 1首先说一下工作原理：在map阶段，使用job.setInputFormatClass定
HEYUTAO007·2010-09-17 10:00

mapreduce编程（一）－二次排序

mr自带的例子中的源码SecondarySort，我重新写了一下，基本没变。这个例子中定义的map和reduce如下，关键是它对输入输出类型的定义：（java泛型编程） publicstaticclassMapextendsMapperpublicstaticclassReduceextendsReducer 1首先说一下工作原理：在map阶段，使用job.setInputFormatClass定
HEYUTAO007·2010-09-17 10:00

mapreduce编程（一）－二次排序

mr自带的例子中的源码SecondarySort，我重新写了一下，基本没变。这个例子中定义的map和reduce如下，关键是它对输入输出类型的定义：（java泛型编程）publicstaticclassMapextendsMapperpublicstaticclassReduceextendsReducer1首先说一下工作原理：在map阶段，使用job.setInputFormatClass定义的
和大黄·2010-09-17 10:00

Map/Reduce中分区和分组的问题

二、什么是分区1、还是举书上的例子，在8.2.4章节的二次排序过程中，用气温举例，所以这里我也将这个例子说一下。
dajuezhao·2010-08-11 14:00

relational join

两个表进行join操作时有3种方案：1、reduce-sidejoin，将key相同的数据传送到相同的reducer做，这些数据在mapper那可能要做二次排序(如value-to-key)。
royesir·2010-07-20 15:00
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他