spark sql-Broadcast Hash Join、SMB-JOIN

一、Broadcast Hash Join

是效率最高的join

  • 原理
    先将小表聚合到 driver 端,再广播到各个大表分区中。那么
    再次进行 join 的时候,就相当于大表的各自分区的数据与小表进行本地 join,从而避免了shuffle
  • 配置
    set spark.sql.autoBroadcastJoinThreshold=10m,默认为10m,一般情况下值太小,需要增大参数

二、SMB-JOIN

sort merge bucket join

  • 原理
    sort merge bucket 操作,需要进行分桶,首先会进行排序,然后根据 key值合并,把相同 key 的数据放到同一个 bucket 中(按照 key 进行 hash)。分桶的目的其实
    就是把大表化成小表。相同 key 的数据都在同一个桶中之后,再进行 join 操作,那么在联合的时候就会大幅度的减小无关项的扫描。
  • 条件
    1、连接的两张表都进行分桶,且桶的个数一样
    2、两边进行 join 时,join 列=排序列=分桶列

你可能感兴趣的:(大数据,spark,大数据)