Apache Doris性能优化之Join Reorder和Doris Join调优原则

目录

  • 1. Join Reorder
    • 1.1 介绍
    • 1.2 Join Reorder逻辑
  • 2. Doris Join调优原则

1. Join Reorder

1.1 介绍

Join Reorder功能可以通过代价模型自动帮助调整SQL中Join的顺序,先让大表和小表进行过滤,这样能过滤掉大表中大部分的数据。以便获得最优的Join效率。可通过会话变量开启,默认是关闭的

mysql> show variables like '%enable_cost_based_join_reorder%';
+--------------------------------+-------+
| Variable_name                  | Value |
+--------------------------------+-------+
| enable_cost_based_join_reorder | false |
+--------------------------------+-------+
1 row in set (0.01 sec)

mysql> 
mysql> set enable_cost_based_join_reorder=true;
Query OK, 0 rows affected (0.01 sec)

mysql> 

可以通过explain graph查看join的先后关系

1.2 Join Reorder逻辑

  • 让大表、跟小表尽量做Join,它生成的中间结果是尽可能小的
  • 把有条件的Join表往前放,也就是说尽量让有条件的Join表进行过滤
  • Hash Join的优先级高于Nest Loop Join,因为Hash join本身是比Nest Loop Join快很多的

2. Doris Join调优原则

  • 在做Join的时候,要尽量选择同类型或者简单类型的列,同类型的话就减少它的数据Cast,简单类型本身Join计算就很快
  • 尽量选择Key列进行Join, 原因前面在Runtime Filter的时候也介绍了,Key列在延迟物化上能起到一个比较好的效果
  • 大表之间的Join ,尽量让它Co-location ,因为大表之间的网络开销是很大的,如果需要去做Shuffle的话,代价是很高的
  • 合理的使用Runtime Filter,它在Join过滤率高的场景下效果是非常显著的。但是它并不是万灵药,而是有一定副作用的,所以需要根据具体的SQL的粒度做开关
  • 涉及到多表Join的时候,需要去判断Join的合理性。尽量保证左表为大表,右表为小表,然后Hash Join会优于Nest Loop Join。必要的时可以通过SQL Rewrite,利用Hint去调整Join的顺序

你可能感兴趣的:(#,Apache,Doris,doris,性能优化,join,reorder,doris调优,join优化)