【gp数据库】十条实用数据库SQL优化建议

基于PostgreSQL,总结几条常用的查询操作的优化建议,部分也适用于Oracle等数据库。

推荐工具书《greenplum企业应用实战》国内首本Greenplum方面的著作。

1.选择合适的分布键

分布键选择不当会导致重分布、数据分布不均等,而数据分布不均会使SQL集中在一个segment节点的执行,限制了gp整体的速度。查看某表是否分布不均:

select gp_segment_id,count(*) from table_name group by gp_segment_id ; 

例子如图:

 

【gp数据库】十条实用数据库SQL优化建议_第1张图片

 

2.使用分区表 

按照某字段进行分区,不影响数据在数据节点上的分布,但是,仅在单个数据节点上,对数据进行分区存储。可以加快分区字段的查询速度。

 

3.压缩表

对于大AO表和分区表使用压缩,以节省存储空间并提高系统I/O,也可以在字段级别配置压缩。应用场景:

  • 不需要对表进行更新和删除操作
  • 访问表的时候基本上是全表扫描,不需要建立索引
  • 不能经常对表添加字段或者修改字段类型

 

4.分组扩展

Greenplum数据库的GROUP BY扩展可以执行某些常用的计算,且比应用程序或者存储过程效率高。

  • ROLLUP 对分组字段(或者表达式)从最详细级别到最顶级别计算聚合计数。ROLLUP的参数是一个有序分组字段列表,它计算从右向左各个级别的聚合。
  • CUBE 为分组字段的所有组合计算聚合。
  • GROUPING SETS 指定对那些字段计算聚合,它可以比ROLLUP和CUBE更精确地控制分区条件。

例子如下:

【gp数据库】十条实用数据库SQL优化建议_第2张图片

 

5.窗口函数

窗口函数可以实现在结果集的分组子集上的聚合或者排名函数,例如 sum(population) over (partition by city)。窗口函数功能强大,性能优异。因为它在数据库内部进行计算,避免了数据传输。

  • 窗口函数row_number()计算一行在分组子集中的行号,例如 row_number() over (partition by city order by id)。
  • 如果查询计划显示某个表被扫描多次,那么通过窗口函数可能可以降低扫描次数。
  • 窗口函数通常可以避免使用自关联。

 

6.列存储和行存储

列存储亦即同一列的数据都连续保存在一个物理文件中,有更高的压缩率,适合在款表中对部分字段进行筛选的场景。 

需要注意的是:若集群中节点较多,而且表的列也较多,每个节点的每一列将会至少产生一个文件,那么总体上将会产生比较多的文件,对表的DDL操作就会比较慢。在和分区表使用时,将会产生更多文件,甚至可能超过Linux的文件句柄限制,要尤其注意。

  • 行存储:如果记录需要update/delete,那么只能选择非压缩的行存方式。对于查询,如果选择的列的数量经常超过30个以上的列,那么也应该选择行存方式。
  • 列存储:如果选择列的数量非常有限,并且希望通过较高的压缩比换取海量数据查询时的较好的IO性能,那么就应该选择列存模式。其中,列存分区表,每个分区的每个列都会有一个对应的物理文件,所以要注意避免文件过多,导致可能超越linux上允许同时打开文件数量的上限以及DDL命令的效率很差。

 

7.函数和存储过程

虽然支持游标,但是尽量不要使用游标方式处理数据,而是应该把数据作为一个整体进行操作。

 

8.索引使用

  • 如果是从超大结果集合中返回非常小的结果集(不超过5%),建议使用BTREE索引(非典型数据仓库操作)
  • 表记录的存储顺序最好与索引一致,可以进一步减少IO(好的index cluster索引簇)
  • where条件中的列用or的方式进行join,可以考虑使用索引
  • 键值大量重复时,比较适合使用bitmap索引

 

9.改写NOT IN

在gp4.3中已经进行了优化,采用hash left anti semi join进行连接。

以下只针对gp4.1及之前

  • 有not in的SQL,都会采用笛卡尔积来执行,采用nested join,效率极差
  • not in改用left join去重后的表关联来实现

例子如下:

select * from test1 where col1 not in (select col2 from test1)

改为:select * from test1 a left join (select col2 from test1 group bycol2) b on a.col1=b.col2 where b.col2 is null

 

10.其它优化技巧

  • 用group by对distinct改写,因为DISTINCT要进行排序操作,Greenplum4.3版本中distinct跟group by都采用HashAggregate这种形式,性能区别不大
  • 用UNION ALL加GROUP BY的方式对UNION改写

 

上一篇:【gp数据库】工作中常用DDL和DCL语句干货

下一篇:【gp数据库】后台周期执行函数实例(shell+crontab)

你可能感兴趣的:(Greenplum)