Hive：left join VS left semi join VS in 的联系与区别

Hive中，左关联有left join和left semi join两种方式，两种方式存在很大的差别。
简单总结来说：
left join就是我们平时所用的left join。
而当A表left semi join关联B表时，结果表只能有A表的列，且B表只能在on中设置过滤条件，并且当B表有重复数据时，A表只会关联B对应值一次。某种意义上来说left semi join与in的功能非常相似。
当主表与关联表的关联列都存在重复数据时，由于产生笛卡尔积，使用left join是低效的。此时使用left semi join或者in时，往往能快速的查询出结果。

left join（left outer join）

就是我们常用的left join。例如有两个表classA，grade：

可以看到’no=00001’的记录在classA出现了两次，'no=00001’的记录在grade出现了两次，'no=00002’的记录在grade出现了两次。当使用classA left join grade时，可以查询B的列，但是会产生笛卡尔积（多对多关联）。结果如下：


可以看到查询结果中’no=00001’产生了4条记录。

left semi join

在left semi join中，关联右侧的表只能在on中设置过滤条件，在where， select或其他地方均不可出现。这主要是因为left semi join只会传递关联条件中key给每一个map，这导致了查询结果中只会出现左侧表中的相关内容。
在left semi join时，功能等同于a.key in (b.keyset)。当右表的key存在重复数据时，会直接跳过，不会重复关联。因此不会产生笛卡尔积。
继续使用上面例子，使用left semi join的语句和结果如下：


可以看到与left join不同，'no=00001’产生了两条记录
当想用left semi join查询b的列：会报错！
use dmb_dev;
select a.*, b.*
from classA a
left semi join grade b
on a.no=b.no;
RROR : org.apache.hive.service.cli.HiveSQLException: Error while compiling statement: FAILED: SemanticException [Error 10009]: Line 1:11 Invalid table alias ‘b’

left semi join与in

left semi join与in的功能基本相同，上面的left semi join案例可以用in达到一样的效果：


当主表与关联表的关联列都存在重复数据时，由于产生笛卡尔积，使用left join是低效的。此时使用left semi join或者in时，往往能快速的查询出结果。但是当需要查询右表的列时就只能使用left join了。