Apache Doris (七十): Doris优化

Apache Doris (七十): Doris优化_第1张图片


Doris中的优化涉及到的方面非常多,例如在分区、分桶、join、查询、参数等各个方面都有优化对应策略,具体可以参考前面每个部分内容,这里大体总结下Doris中的优化相关内容:

  1. 执行SQL慢可以通过Doris提供的QueryProfile查看SQL执行的统计信息帮助我们了解Doris的执行情况,并有针对性的进行相应Debug与调优工作。具体可以参考https://doris.apache.org/zh-CN/docs/dev/admin-manual/query-profile。
  2. 在Doris中选择合适的数据存储模型来存储数据,针对不同场景选择AGGREGATE KEY, UNIQUE KEY, DUPLICATE KEY 三种数据存储模型
  3. 创建Doris表时设置合理的分区和分桶个数,方便对数据进行管理,在企业生产环境中也可以设置Doris分级存储(SSD + SATA)提高数据管理。
  4. Doris建表时,建议采用区分度大的列做分桶, 避免出现数据倾斜,为方便数据恢复, 建议单个 bucket 的 size 不要太大, 保持在 10GB 以内, 所以建表或增加 partition 时请合理考虑 bucket 数目, 其中不同 partition 可指定不同的 buckets 数。

你可能感兴趣的:(大数据OLAP体系技术栈,apache,doris)