join不产生Shuffle的情况及案例实战

2.9 join不产生Shuffle的情况及案例实战
2.9.1 join在什么情况下不产生Shuffle及其运行原理
在大数据处理场景中，多表Join是非常常见的一类运算。为了便于求解，通常会将多表join问题转为多个两表连接问题。两表Join的实现算法非常多，一般我们会根据两表的数据特点选取不同的join算法，其中，最常用的两个算法是map-side join和reduce-side join。map-side join也就是join不产生Shuffle。
Map-side Join使用场景是一个大表和一个小表的连接操作，其中，“小表”是指文件足够小，可以加载到内存中。该算法可以将join算子执行在Map端，无需经历Shuffle和reduce等阶段，因此效率非常高。
在Hadoop MapReduce中， map-side join是借助DistributedCache实现的。DistributedCache可以帮我们将小文件分发到各个节点的Task工作目录下，这样，我们只需在程序中将文件加载到内存中（例如保存到Map数据结构中），然后借助Mapper的迭代机制，遍历另一个大表中的每一条记录，并查找是否在小表中，如果在则输出，否则跳过。
在Apache Spark中，同样存在类似于DistributedCache的功能，称为“广播变量”（Broadcast variable）。其实现原理与DistributedCache非常类似，但提供了更多的数据/文件广播算法，包括高效的P2P算法，该算法在节点数目非常多的场景下，效率远远好于DistributedCache这种基于HDFS共享存储的方式，具体比较可参考“Performance and Scalability of Broadcast in Spark”。使用MapReduce DistributedCache时，用户需要显示地使用File API编写程序从本地读取小表数据，而Spark则不用，它借助Scala语言强大的函数闭包特性，可以隐藏数据/文件广播过程，让用户编写程序更加简单。
2.9.2 join不产生Shuffle的情况案例实战
假设两个文件，一小一大，且格式类似为：
1. Key,value,value
2. Key,value,value


则利用Spark实现map-side的算法如下：
1. var table1 = sc.textFile(args(1))
2. var table2 = sc.textFile(args(2))
3.
4. // table1 is smaller, so broadcast it as a map
5. var pairs = table1.map { x =>
6. var pos = x.indexOf(',')
7.  (x.substring(0, pos), x.substring(pos + 1))
8. }.collectAsMap
9. var broadCastMap = sc.broadcast(pairs) //save table1 as map, and broadcast it
10.
11. // table2 join table1 in map side
12. var result = table2.map { x =>
13. var pos = x.indexOf(',')
14.  (x.substring(0, pos), x.substring(pos + 1))
15. }.mapPartitions({ iter =>
16. var m = broadCastMap.value
17. for{
18.    (key, value) <- iter
19. if(m.contains(key))
20.  } yield (key, (value, m.get(key).getOrElse("")))
21. })
22.
23. result.saveAsTextFile(args(3)) //save result to local file or HDFS
24.