『 白话课堂 』详谈 ClickHouse 的 表引擎

本期与大家分享的是，小北用心整理的ClickHouse的表引擎介绍，希望对大家能有帮助，大家喜欢就给点鼓励吧，欢迎各位大佬评论区指教讨论！

制作不易，各位大佬们给点鼓励！
点赞 ➕ 收藏⭐ ➕ 关注✅
欢迎各位大佬指教，一键三连走起！

一、ClickHouse的 表引擎 是什么？

     我们知道ClickHouse 是由俄罗斯的 Yandex公司在2016年开源的一个列式存储数据库(DBMS)，它是使用C++语言来编写实现的，ClickHouse主要用于在线分析处理查询(OLAP)，并且能够使用SQL查询实时生成分析数据报告。而 表引擎 则是 ClickHouse 的一大特色。可以说，表引擎决定了如何存储表的数据。

二、ClickHouse的 表引擎 有什么作用？

     表引擎决定了如何存储表的数据。比如：

• 表引擎决定了数据的存储方式以及数据的存储位置，数据写入到哪里以及要从哪里来读取数据。
• 表引擎的不同支持的查询也会不同，以及支持的方式也会不同。
• 表引擎可以支持并发数据访问。
• 表引擎也支持索引的使用（如果索引存在）
• 表引擎可以决定是否可以执行多线程请求
• 表引擎提供了数据的复制参数。

三、ClickHouse的 表引擎 有哪几种？

     ClickHouse的表引擎一般常见的主要有 五 种；分别是TinyLog、Memory、MergeTree、ReplacingMergeTree以及SummingMergeTree

四、 ClickHouse的 表引擎 分别有什么特点？

第一种：TinyLog

（1）概述：TinyLog表引擎是以列文件的形式保存在磁盘上，不支持索引，并且没有并发控制。一般适用于保存少量数据的小表。
（2）使用方式：CREATE TABLE T_TINYLOG ( ID STRING, NAME STRING) ENGINE=TINYLOG;

第二种：Memory

     Memory是一种内存引擎，数据会以未压缩的原始形式直接保存在内存当中，服务器重启数据就会消失，对于读写操作不会相互阻塞，但是不支持索引。简单查询下有非常高的性能表现(超过10G/s)。一般用到它的地方不多，除了用来测试，就是在需要非常高的性能，同时数据量又不大 (上限大概1亿行) 的场景。

第三种：MergeTree

（1）概述：ClickHouse 中最强大的表引擎当属MergeTree(合并树) 引擎及该系列( *MergeTree ) 中的其他引擎，它支持索引和分区，地位可以相当于innodb 之于Mysql。而且基于MergeTree，还衍生出了很多子引擎，是一个非常有特色的表引擎。

（2）MergeTree的 PARTITION BY（该关键字是可选的）

• 分区的目的: 主要是降低扫描的范围，优化查询速度; 如果不填, 只会使用一个分区
• 分区目录: MergeTree 是以 列文件+索引文件+表 定义文件组成的，但是如果设定了分区那么这些文件就会保存到不同的分区目录中。
• 数据写入与分区合并 :
  任何一个批次的数据写入都会产生一个临时分区，并且该分区不会纳入到任何一个已有的分区。在写入后的某个时刻（大概 10-15 分钟后），ClickHouse 会自动执行合并操作（等不及也可以手动通过 OPTIMIZE 执行），把临时分区的数据，合并到已有分区中。例如：OPTIMIZE TABLE XXXX FINAL;
• 并行 : 分区后，面对涉及跨分区的查询统计，ClickHouse 会以分区为单位并行处理。
• 分区字段解释说明 :

 分区样例： PartitionId_MinBlockNum_MaxBlockNum_Level 
               分区值_最小分区块编号_最大分区块编号_合并层级
    例如：   20220301_1_1_0
  （1）PartitionId（数据分区ID）：
     生成规则：数据分区规则由分区ID决定，分区ID由PARTITION BY分区键决定。       
     根据分区键字段类型，ID生成规则可分为：
       未定义分区键： 
          没有定义PARTITION BY，默认生成一个目录名为all的数据分区，所有数据均存放在all目录下。
       整型分区键：
	      分区键为整型，那么直接用该整型值的字符串形式做为分区ID。
       日期类分区键；
          分区键为日期类型，或者可以转化成日期类型。
       其他类型分区键：
          String、Float类型等，通过128位的Hash算法取其Hash值作为分区ID。
  （2）MinBlockNum  ：
     最小分区块编号，自增类型，从1开始向上递增。每产生一个新的目录分区就向上递增一个数字。
  （3）MaxBlockNum  ：
     最大分区块编号，新创建的分区MinBlockNum等于MaxBlockNum的编号。
  （4）Level  ：
      合并的层级，被合并的次数。合并次数越多，层级值越大

• 与分区相关的一些配置文件：

bin文件：数据文件；
mrk文件：标记文件，标记文件在 idx索引文件 和 bin数据文件 之间起到了桥梁作用。
以mrk2结尾的文件，表示该表启用了自适应索引间隔。
primary.idx文件：主键索引文件，用于加快查询效率。
minmax_create_time.idx：分区键的最大最小值。
checksums.txt：校验文件，用于校验各个文件的正确性。存放各个文件的size以及hash值。

（3）MergeTree的 PRIMARY KEY（该关键字是可选的）

          ClickHouse 中的主键，和其他数据库不太一样， 它只提供了数据的一级索引，但是却不是唯一约束。 这就意味着是可以存在相同 primary key 的数据的。主键的设定主要依据是查询语句中的 where 条件。根据条件通过对主键进行某种形式的二分查找，能够定位到对应的 index granularity，避免了全表扫描。

index granularity： 直接翻译的话就是 索引粒度，指在稀疏索引中两个相邻索引对应数 据的间隔。ClickHouse 中 MergeTree 默认是 8192。官方不建议修改这个值，除非该列存在 大量重复值，比如在一个分区中几万行才有一个不同数据。

稀疏索引：稀疏索引 的好处就是可以用很少的索引数据，定位更多的数据，代价就是只能定位到索引粒度的第一行，然后再进行进行一点扫描。

（4）MergeTree的 ORDER BY（该关键字是必选的）

           order by 设定了分区内的数据按照哪些字段顺序进行有序保存。order by 是 MergeTree 中唯一 一个必填项，甚至比 primary key 还重要，因为当用户不设置主键的情况，很多处理会依照 order by 的字段进行处理（比如去重和汇总）。注意：主键必须是 order by 字段的前缀字段。比如 order by 字段是 (id,sku_id) 那么主键必须是 id 或者(id,sku_id)

（5）MergeTree的 二级索引
           目前在 ClickHouse 的官网上二级索引的功能在 v20.1.2.4 之前是被标注为实验性的，在这个版本之后默认是开启的。老版本使用二级索引前需要增加设置，是否允许使用实验性的二级索引（v20.1.2.4 开始，这个参数已被删除，默认开启）set allow_experimental_data_skipping_indices=1;

（6）MergeTree的 数据 TTL
           TTL 即 Time To Live，MergeTree 提供了可以管理数据表或者列的生命周期的功能，主要分为两种：列级别 TTL、表级 TTL

第四种：ReplacingMergeTree

           ReplacingMergeTree 是 MergeTree 的一个变种，它存储特性完全继承 MergeTree，只是多了一个去重的功能。 尽管 MergeTree 可以设置主键，但是 primary key 其实没有唯一约束的功能。如果你想处理掉重复的数据，可以借助这个 ReplacingMergeTree。

1）去重时机：数据的去重只会在合并的过程中出现。合并会在未知的时间在后台进行，所以你无法预先作出计划。有一些数据可能仍未被处理。

2）去重范围：如果表经过了分区，去重只会在分区内部进行去重，不能执行跨分区的去重。所以 ReplacingMergeTree 能力有限， ReplacingMergeTree 适用于在后台清除重复的数据以节省空间，但是它不保证没有重复的数据出现。

1. 去重实际上是使用 order by 字段作为唯一键
2. 去重不能跨分区
3. 只有同一批插入（新版本）或合并分区时才会进行去重
4. 认定重复的数据保留，版本字段值最大的
5. 如果版本字段相同则按插入顺序保留最后一笔

第五种：SummingMergeTree

           对于不查询明细，只关心以维度进行汇总聚合结果的场景。如果只使用普通的MergeTree的话，无论是存储空间的开销，还是查询时临时聚合的开销都比较大。ClickHouse 为了这种场景，提供了一种能够“预聚合”的引擎 SummingMergeTree。我们在设计聚合表的时候，可以将唯一键值、流水号去掉，所有字段全部是维度、度量或者时间戳。

1. 以 SummingMergeTree（）中指定的列作为汇总数据列
2. 可以填写多列必须数字列，如果不填，以所有非维度列且为数字列的字段为汇总数据列
3. 以 order by 的列为准，作为维度列
4. 其他的列按插入顺序保留第一行
5. 不在一个分区的数据不会被聚合
6. 只有在同一批次插入(新版本)或分片合并时才会进行聚合

场景问题

我们能不能直接通过执行下面的 SQL 来得到汇总值 ？
select total_amount from XXX where province_name=’’ and create_date=’xxx’

回答：
不行，执行该SQL 可能会包含一些还没来得及聚合的临时明细；因为：如果要是获取汇总值，还是需要使用 sum 进行聚合，这样效率会有一定的提高，但本身 ClickHouse 是列式存储的，效率提升有限，不会特别明显，我们应该使用这样的SQL: select sum(total_amount) from province_name=’’ and create_date=‘xxx’