POLARDB IMCI 白皮书 云原生HTAP 数据库系统 一 列式数据是如何存储与处理的

开头还是介绍一下群，如果感兴趣polardb ,mongodb ,mysql ,postgresql ,redis 等有问题，有需求都可以加群群内有各大数据库行业大咖，CTO，可以解决你的问题。加群请联系 liuaustin3 ，在新加的朋友会分到2群（共950人左右 1 + 2 + 3）新人会进入3群

第四部分将深入介绍列索引存储，这是PolarDB-IMCI处理分析查询的关键部分。PolarDB-IMCI支持高度调优的面向事务处理的云存储的基于行的存储引擎[14, 28]。然而，基于行的数据格式因其无法有效地访问分析查询而闻名。受领先的工业级数据库（例如Oracle [30]、SQL Server [32]）的启发，PolarDB-IMCI通过内存中的列索引实现了双重数据格式，以增强OLAP功能。

如图4所示，PolarDB-IMCI中的列索引作为现有行存储的补充存储。在PolarDB-IMCI中，表的列可以选择地参与列索引。PolarDB-IMCI将表的所有行分为多个行组，并进行追加式写入以提高写入性能。在行组中，数据的每一列都与一些统计元数据一起组织成数据包。为了提供快照隔离，每个行组都包含一个插入版本ID（VID）映射和一个删除版本ID映射来控制并发事务处理的可见性。由于行组是追加式的，因此删除操作需要显式提供给定主键的行ID以设置该行的删除版本。为此，PolarDB-IMCI实现了一个行ID定位器（即两层LSM树）来将主键映射到列索引中行的物理位置。

数据包布局。首先，将关系表分成多个行组，行组的大小可配置（即每个行组64K行），而剩余的行组则形成部分行组（例如，图4中的行组N）。为了实现快速数据摄取，行组是追加式的（§4.2）。也就是说，全尺寸的行组是不变的，而部分行组将以追加式方式完成。在行组内属于同一列的数据以压缩格式组织成数据包，以降低空间消耗。请注意，PolarDB-IMCI不会压缩部分数据包，因为它们会持续更新。

元数据。为了避免在查询执行过程中进行不必要的数据访问，PolarDB-IMCI为每个数据包维护一个包元数据。包元数据跟踪每个包的最小和最大值，以及采样直方图，这有益于列扫描。例如，当查询语句指定WHERE子句谓词时，可以使用所引用列的包元数据来检查是否可以跳过对该包的扫描。

为了更好地理解在数据包上进行DML操作的流程，现在我们描述如何在列索引数据结构上进行DML操作。

• 插入：将行插入列索引包括以下四个步骤。首先，列索引从其部分Packs中分配一个空的RID。其次，定位器通过主键更新插入的行的新RID（即在LSM树中添加新记录）。然后，列索引将行数据写入空槽中（例如，图4中行组N内的数据包）。最后，插入VID记录已插入数据的事务提交序列号（即时间戳）。由于插入VID映射维护每个插入数据的插入版本，因此也遵循只追加的写入模式。

• 删除：删除操作通过主键（PK）通过RID定位器检索行的RID，然后使用其事务提交序列号设置相应的删除VID。之后，从定位器中删除PK和RID之间的映射以确保数据一致性。

• 压缩：当部分包达到最大容量并且需要减少空间消耗时，其被转换为数据包，然后压缩到磁盘中。压缩过程采用写时复制模式，以避免访问争用。也就是说，在不更改部分包的情况下生成一个新的数据包，PolarDB-IMCI在压缩后更新元数据，以将部分包替换为新的数据包（即原子地更新指向新数据包的指针）。对于各种数据类型，列索引采用不同的压缩算法。数字列采用参考帧、增量编码和位压缩压缩的组合，而字符串列使用字典压缩。此外，由于数据包是不可变的，当活动事务大于所有VID时，该数据包的插入VID映射是无用的，即没有活动事务引用该插入VID映射。在这种情况下，PolarDB-IMCI删除行组内的插入VID映射，以减少内存占用。

• 压缩：当部分包达到最大容量并且需要减少空间消耗时，其被转换为数据包，然后压缩到磁盘中。压缩过程采用写时复制模式，以避免访问争用。也就是说，在不更改部分包的情况下生成一个新的数据包，PolarDB-IMCI在压缩后更新元数据，以将部分包替换为新的数据包（即原子地更新指向新数据包的指针）。对于各种数据类型，列索引采用不同的压缩算法。数字列采用参考帧、增量编码和位压缩压缩的组合，而字符串列使用字典压缩。此外，由于数据包是不可变的，当活动事务大于所有VID时，该数据包的插入VID映射是无用的，即没有活动事务引用该插入VID映射。在这种情况下，PolarDB-IMCI删除行组内的插入VID映射，以减少内存占用。

• 紧缩：删除操作可以在数据包中设置删除VID，为该数据包打洞。随着无效行数的增加，扫描性能和空间效率会下降。PolarDB-IMCI定期检测和重新排列底部的数据包，以保持列索引的无效行的低水位。例如，稀疏数据包，有效行少于一半，被选为下溢。然后，后台线程发出紧缩事务，每个迁移的有效行进行大量的更新操作，将选定数据包的所有有效行重新附加到部分包中。请注意，列索引的更新操作是原地的，因此在紧缩期间或之后，旧行仍然可以通过前台操作进行访问，从而实现非阻塞更新。在没有活动事务访问它们时，紧缩后的数据包将被永久删除。