MapReduce之Join操作

一、在关系型数据库中 join 是非常常见的操作，各种优化手段已经到了极致。在海量数据的环境下，不可避免的也会碰到这种类型的需求，例如在数据分析时需要连接从不同的数据源中获取到的数据。不同于传统的单机模式，在分布式存储的下采用 MapReduce 编程模型，也有相应的处理措施和优化方法。

本文对 Hadoop 中最基本的 join 方法进行简单介绍，这也是其它许多方法和优化措施的基础。文中所采用的例子来自于《 Hadoop in Action 》一书中的 5.2 节 。假设两个表所在的文件分别为Customers和Orders，以CSV格式存储在HDFS中。

1,Stephanie Leung,555-555-5555 2,Edward Kim,123-456-7890 3,Jose Madriz,281-330-8004 4,David Stork,408-555-0000

3,A,12.95,02-Jun-2008 1,B,88.25,20-May-2008 2,C,32.00,30-Nov-2007 3,D,25.02,22-Jan-2009

这里的Customer ID是连接的键，那么连接的结果:

1,Stephanie Leung,555-555-5555,B,88.25,20-May-2008 2,Edward Kim,123-456-7890,C,32.00,30-Nov-2007 3,Jose Madriz,281-330-8004,A,12.95,02-Jun-2008 3,Jose Madriz,281-330-8004,D,25.02,22-Jan-2009

      回忆一下Hadoop中MapReduce中的主要几个过程：依次是读取数据分块，map操作，shuffle操作，reduce操作，然后输出结果。简单来说，其本质在于大而化小，分拆处理。显然我们想到的是将两个数据表中键值相同的元组放到同一个reduce结点进行，关键问题在于如何做到？具体处理方法是将map操作输出的key值设为两表的 连接键(如例子中的Customer ID) ，那么在shuffle阶段，Hadoop中默认的partitioner会将相同key值得map输出发送到同一个reduce结点。所以整个过程如下图所示：

        这种方法称为Repartition Join，同时它进行join操作是在reduce阶段进行，也属于Reduce-side Join；在Hadoop中contrib目录下的datajoin就是采用的这种方法。

二、上一篇介绍了 Repartition Join 的基本思想，实践出真知，具体的实现中总是存在各种细节问题。下面我们通过具体的源码分析来加深理解。本文分析的是 Hadoop-0.20.2 版本的 datajoin 代码，其它版本也许会有变化，这里暂且不论。

 

参看源码目录下，共实现有 7 个类，分别是：

• ArrayListBackIterator.java
• DataJoinJob.java
• DataJoinMapperBase.java
• DataJoinReducerBase.java
• JobBase.java
• ResetableIterator.java
• TaggedMapOutput.java

        源码比较简单，代码量小，下面对一些关键的地方进行分析：前面我们提到了 map 阶段的输出的 key 值的设定；然而在实现中，其value值也是另外一个需要考虑的地方，在不同的 reduce 结点进行 join 操作时，需要知道参与 join 的元组所属的表；解决方法是在 map 输出的 value 值中加入一个标记 (tag) ，例如上一篇例子中两表的tag 可以分别 customer 和 order (注：实际上，在reduce阶段可以直接分析两元组的结构就可以确定数据来源)。这也是 TaggedMapOutput.java 的来历。作为 Hadoop 的中间数据，必须实现 Writable 的方法，如下所示：

Java代码 

顶

0

踩

0

 

 

• 上一篇LSH local sensitive hash 局部敏感哈希
• 下一篇代码中特殊的注释技术——TODO、FIXME和XXX的用处

参考知识库

更多资料请参考：

猜你在找

查看评论

* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场