ClickHouse--06--其他扩展MergeTree系列表引擎

其他扩展MergeTree系列

MergeTree 系列表引擎 --种类

MergeTree 系 列 表 引 擎 包 含 ：

• MergeTree
• ReplacingMergeTree
• SummingMergeTree（汇总求和功能）
• AggregatingMergeTree（聚合功能）
• CollapsingMergeTree（折叠删除功能）
• VersionedCollapsingMergeTree（版本折叠功能）引擎

在这些的基础上还可以叠加 Replicated 和 Distributed。

1. ReplacingMergeTree

1.1 概念

• 以 上 MergeTree 不 能 对 相 同 主 键 的 数 据 进 行 去 重 ， ClickHouse 提 供 了
  ReplacingMergeTree 引擎，可以针对同分区内相同主键的数据进行去重，它能够在合并分区时删除重复的数据。
• 值得注意的是，ReplacingMergeTree只是在一定程度上解决了数据重复问题，由于自动分区合并机制在后台定时执行，所以并不能完全保障数据不重复。
• ReplacingMergeTree 适用于在后台清除重复的数据以节省空间。

1.2 建表语句

ReplaceingMergeTree 建表语句：

使用 ReplacingMergeTree 是需要注意以下几点：

• 如何判断数据重复
  ReplacingMergeTree 在去除重复数据时，是以 ORDERBY 排序键为基准的，而不是PRIMARY KEY。
• 何时删除重复数据
  在执行分区合并时，会触发删除重复数据。optimize 的合并操作是在后台执行的，无法预测具体执行时间点，除非是手动执行。
• 不同分区的重复数据不会被去重
  ReplacingMergeTree 是以分区为单位删除重复数据的。只有在相同的数据分区内重复的数据才可以被删除，而不同数据分区之间的重复数据依然不能被剔除。
• 数据去重的策略是什么
  如果没有设置[ver]版本号，则保留同一组重复数据中的最新插入的数据；
  如果设置了[ver]版本号，则保留同一组重复数据中 ver 字段取值最大的那一行。
• optimize 命令使用
  一般在数据量比较大的情况，尽量不要使用该命令。因为在海量数据场景下，执行optimize 要消耗大量时间。

2.SummingMergeTree

2.1 概念

该引擎继承了 MergeTree 引擎，当合并 SummingMergeTree 表的数据片段时ClickHouse 会把所有具有相同主键的行合并为一行，该行包含了被合并的行中具有数值数据类型的列的汇总值，即如果存在重复的数据，会对对这些重复的数据进行合并成一条数据，类似于 group by 的效果，可以显著减少存储空间并加快数据查询速度。

• 如果用户只需要查询数据的汇总结果，不关心明细数据，并且数据的汇总条件是预先明确的，即 GROUP BY的分组字段是确定的，可以使用该表引擎。

2.2 SummingMergeTree 建表语句：

使用 SummingMergeTree 注意以下几点：

• SummingMergeTree 是根据什么对两条数据进行合并的
  用 ORBER BY 排序键作为聚合数据的条件 Key。即如果排序key 是相同的，则会合并成一条数据，并对指定的合并字段进行聚合。
• 仅对分区内的相同排序 key 的数据行进行合并
  以数据分区为单位来聚合数据。当分区合并时，同一数据分区内聚合 Key 相同的数据会被合并汇总，而不同分区之间的数据则不会被汇总。
• 如果没有指定聚合字段，会怎么聚合
  如果没有指定聚合字段，则会按照非主键的数值类型字段进行聚合。
• 对于非汇总字段的数据，该保留哪一条
  如果两行数据除了排序字段相同，其他的非聚合字段不相同，那么在聚合发生时，会保留最初的那条数据，新插入的数据对应的那个字段值会被舍弃。

3 AggregatingMergeTree

3.1 概念

• 该表引擎继承自 MergeTree，可以使用 AggregatingMergeTree表来做增量数据统计聚合。如果要按一组规则来合并减少行数，则使AggregatingMergeTree 是合适的。AggregatingMergeTree 是通过预先定义的聚合函数计算数据并通过二进制的格式存入表内。
• 与 SummingMergeTree 的区别在于：SummingMergeTree 对非主键列进行 sum 聚 合，而 AggregatingMergeTree 则可以指定各种聚合函数。对某些字段需要进行聚合时， 需要在创建表字段时指定成 AggregateFunction 类型

3.2 AggregatingMergeTree 建表语句

3.3 搭配使用

• 以上方式使用 AggregatingMergeTree 表引擎比较不方便，更多情况下，我们将AggregatingMergeTree 作为物化视图的表引擎与 MergeeTree 搭配使用。

示例：

4.CollapsingMergeTree

4.1 概念

• CollapsingMergeTree 就是一种通过以增代删的思路，支持行级数据修改和删除的 表引擎。它通过定义一个 sign 标记位字段，记录数据行的状态。如果 sign 标记为 1，则 表示这是一行有效的数据；如果 sign 标记为-1，则表示这行数据需要被删除。当 CollapsingMergeTree 分区合并时，同一数据分区内，sign 标记为 1 和-1的一组数据 会被抵消删除。
• 每次需要新增数据时，写入一行 sign 标记为 1 的数据；需要删除数据时，则写入一行sign 标记为-1 的数据。此外，只有相同分区内的数据才有可能被折叠。

4.2 建表语句

5.VersionedCollapsingMergeTree

5.1 概念

• 上面提到 CollapsingMergeTree 表引擎对于数据写入乱序的情况下，不能够实现数据 折 叠 的 效 果 。 VersionedCollapsingMergeTree 表 引 擎 的 作 用 与CollapsingMergeTree 完 全 相 同 ， 它 们 的 不 同 之 处 在 于 ，VersionedCollapsingMergeTree 对数据的写入顺序没有要求，在同一个分区内，任意顺序的数据都能够完成折叠操作。
• VersionedCollapsingMergeTree 使用 version 列来实现乱序情况下的数据折叠，该引擎除了需要指定一个 sign 标识之外，还需要指定一个 UInt*类型的 version 版本号。

5.2 建表语句

示例：