【OpenGauss 列存储学习总结 2】

概述

  列存储是一种优化技术，用于在数据库系统中存储和查询大量数据。与传统的行存储方式不同，列存储将每个列的数据分别存储在独立的存储单元中，而不是按照行的方式存储。这种存储方式在分析性查询、聚合操作和大规模数据处理等场景下具有很大的优势。
  行、列存储模型各有优劣，建议根据实际情况选择。通常openGauss用于OLTP（联机事务处理）场景的数据库，默认使用行存储，仅对执行复杂查询且数据量大的OLAP（联机分析处理）场景时，才使用列存储。默认情况下，创建的表为行存储。行存储和列存储的差异如下图所示：

  上图中，左上为行存表，右上为行存表在硬盘上的存储方式。左下为列存表，右下为列存表在硬盘上的存储方式。

列存储的特点和优势：

1. 压缩效率高：由于相同类型的数据在列中是连续存储的，可以采用更加高效的压缩算法，从而减少存储空间的使用。
2. 数据读取效率高：在查询中只加载需要的列，减少了不必要的数据传输，提高了查询效率。
3. 聚合操作效率高：在列存储中，同一列的数据相邻存储，这样在进行聚合操作时只需要对该列中的数据进行计算，减少了不必要的读取和计算。
4. 列存储适合分析性查询：分析性查询通常涉及多个列的聚合和筛选操作，列存储的存储方式更适合这种场景，可以提高查询效率。
5. 适用于大规模数据处理：列存储在大规模数据处理、数据仓库等场景中具有明显的性能优势，能够更好地支持复杂的分析任务。

  列存储相比于行存储的优点和缺点如下：

存储模型	优点	缺点
行存	数据被保存在一起。INSERT/UPDATE 容易。	选择(SELECT)时即使只涉及某几列，所有数据也都会被读取。
列存	1. 查询时只有涉及到的列会被读取。 2. 投影(Projection)很高效。 3. 任何列都能作为索引。	1. 选择完成时，被选择的列要重新组装。 2. INSERT/UPDATE 比较麻烦。

  一般情况下，如果表的字段比较多（大宽表），查询中涉及到的列不多的情况下，适合列存储。如果表的字段个数比较少，查询大部分字段，那么选择行存储比较好。

存储类型	适用场景
行存	1. 点查询(返回记录少，基于索引的简单查询)。 2. 增、删、改操作较多的场景。 3. 频繁的更新、少量的插入。
列存	1. 统计分析类查询 (关联、分组操作较多的场景)。 2. 即席查询（查询条件不确定，行存表扫描难以使用索引）。 3. 一次性大批量插入。 4. 表列数较多，建议使用列存表。 5. 如果每次查询时，只涉及了表的少数（<50%总列数）几个列，建议使用列存表。

文章链接

  在先前的学习中，【列存储学习总结】一文总结了对列存储的阶段性学习笔记，本文我们在其基础上进一步总结后续的学习笔记，目前所有列存储的文章学习连接如下：

文章	连接
列存储（Copy）相关	【 OpenGauss源码学习 —— 列存储（CopyTo）】 【 OpenGauss源码学习（CopyOneRowTo）】
列存储介绍相关	【 OpenGauss源码学习 —— 列存储（创建表）】 【 OpenGauss源码学习 —— 列存储（cstore_vector）】 【 OpenGauss源码学习 —— 列存储（CStoreAllocator 类）】 【OpenGauss源码学习 —— 列存储（ColumnTableSample）】
列存储（DML）相关	【 OpenGauss源码学习 —— 列存储（Insert）】 【 OpenGauss源码学习 —— 列存储（update）】
列存储（analyze）相关	【 OpenGauss源码学习 —— 列存储（analyze）(一)】 【 OpenGauss源码学习 —— 列存储（analyze）(二)】 【 OpenGauss源码学习 —— 列存储（analyze）(三)】 【 OpenGauss源码学习 —— 列存储（analyze）(四)】
列存储（autoanalyze）相关	【 OpenGauss源码学习 —— 列存储（autoanalyze）（一）】 【 OpenGauss源码学习 —— 列存储（autoanalyze）（二）】 【 OpenGauss源码学习 —— 列存储（update_pages_and_tuples_pgclass）】
列存储（CU）相关	【 OpenGauss源码学习 —— 列存储（CU）（一）】 【 OpenGauss源码学习 —— 列存储（CU）（二）】 【 OpenGauss源码学习 —— 列存储（CU）（三）】 【 OpenGauss源码学习 —— 列存储（CUStorage）】
列存储（CStore）相关	【 OpenGauss源码学习 —— 列存储（CStore）（一）】 【 OpenGauss源码学习 —— 列存储（CStore）（二）】 【 OpenGauss源码学习 —— 列存储（CStore）（三）】 【 OpenGauss源码学习 —— 列存储（CStore）（四）】 【 OpenGauss源码学习 —— 列存储（CStore）（五）】 【 OpenGauss源码学习 —— 列存储（CStore）（六）】

  以上便为目前我所学习的内容，在后续的学习中，我也会持续不断地完善和更新更多有关列存的模块知识。