『 白话课堂 』详谈 ClickHouse 的 表引擎

本期与大家分享的是,小北用心整理的ClickHouse的表引擎介绍,希望对大家能有帮助,大家喜欢就给点鼓励吧,欢迎各位大佬评论区指教讨论!

制作不易,各位大佬们给点鼓励!
点赞 ➕ 收藏⭐ ➕ 关注✅
欢迎各位大佬指教,一键三连走起!

一、ClickHouse的 表引擎 是什么?

     我们知道ClickHouse 是由俄罗斯的 Yandex公司在2016年开源的一个列式存储数据库(DBMS),它是使用C++语言来编写实现的,ClickHouse主要用于在线分析处理查询(OLAP),并且能够使用SQL查询实时生成分析数据报告。而 表引擎 则是 ClickHouse 的一大特色。可以说,表引擎决定了如何存储表的数据。

二、ClickHouse的 表引擎 有什么作用?

     表引擎决定了如何存储表的数据。比如:

  • 表引擎决定了数据的存储方式以及数据的存储位置,数据写入到哪里以及要从哪里来读取数据。
  • 表引擎的不同支持的查询也会不同,以及支持的方式也会不同。
  • 表引擎可以支持并发数据访问。
  • 表引擎也支持索引的使用(如果索引存在)
  • 表引擎可以决定是否可以执行多线程请求
  • 表引擎提供了数据的复制参数。

三、ClickHouse的 表引擎 有哪几种?

     ClickHouse的表引擎一般常见的主要有 五 种;分别是TinyLog、Memory、MergeTree、ReplacingMergeTree以及SummingMergeTree

四、 ClickHouse的 表引擎 分别有什么特点?

第一种:TinyLog

(1)概述:TinyLog表引擎是以列文件的形式保存在磁盘上,不支持索引,并且没有并发控制。一般适用于保存少量数据的小表。
(2)使用方式:CREATE TABLE T_TINYLOG ( ID STRING, NAME STRING) ENGINE=TINYLOG;

第二种:Memory

     Memory是一种内存引擎,数据会以未压缩的原始形式直接保存在内存当中,服务器重启数据就会消失,对于读写操作不会相互阻塞,但是不支持索引。简单查询下有非常高的性能表现(超过10G/s)。一般用到它的地方不多,除了用来测试,就是在需要非常高的性能,同时数据量又不大 (上限大概1亿行) 的场景。

第三种:MergeTree

(1)概述:ClickHouse 中最强大的表引擎当属MergeTree(合并树) 引擎及该系列( *MergeTree ) 中的其他引擎,它支持索引和分区,地位可以相当于innodb 之于Mysql。而且基于MergeTree,还衍生出了很多子引擎,是一个非常有特色的表引擎。

(2)MergeTree的 PARTITION BY(该关键字是可选的)

  • 分区的目的: 主要是降低扫描的范围,优化查询速度; 如果不填, 只会使用一个分区
  • 分区目录: MergeTree 是以 列文件+索引文件+表 定义文件组成的,但是如果设定了分区那么这些文件就会保存到不同的分区目录中。
  • 数据写入与分区合并 :
    任何一个批次的数据写入都会产生一个临时分区,并且该分区不会纳入到任何一个已有的分区。在写入后的某个时刻(大概 10-15 分钟后),ClickHouse 会自动执行合并操作(等不及也可以手动通过 OPTIMIZE 执行),把临时分区的数据,合并到已有分区中。例如:OPTIMIZE TABLE XXXX FINAL;
  • 并行 : 分区后,面对涉及跨分区的查询统计,ClickHouse 会以分区为单位并行处理。
  • 分区字段解释说明 :
 分区样例: PartitionId_MinBlockNum_MaxBlockNum_Level 
               分区值_最小分区块编号_最大分区块编号_合并层级
    例如:   20220301_1_1_0
  (1)PartitionId(数据分区ID):
     生成规则:数据分区规则由分区ID决定,分区ID由PARTITION BY分区键决定。       
     根据分区键字段类型,ID生成规则可分为:
       未定义分区键: 
          没有定义PARTITION BY,默认生成一个目录名为all的数据分区,所有数据均存放在all目录下。
       整型分区键:
	      分区键为整型,那么直接用该整型值的字符串形式做为分区ID。
       日期类分区键;
          分区键为日期类型,或者可以转化成日期类型。
       其他类型分区键:
          String、Float类型等,通过128位的Hash算法取其Hash值作为分区ID。
  (2)MinBlockNum  :
     最小分区块编号,自增类型,从1开始向上递增。每产生一个新的目录分区就向上递增一个数字。
  (3)MaxBlockNum  :
     最大分区块编号,新创建的分区MinBlockNum等于MaxBlockNum的编号。
  (4)Level  :
      合并的层级,被合并的次数。合并次数越多,层级值越大
  • 与分区相关的一些配置文件:
bin文件:数据文件;
mrk文件:标记文件,标记文件在 idx索引文件 和 bin数据文件 之间起到了桥梁作用。
以mrk2结尾的文件,表示该表启用了自适应索引间隔。
primary.idx文件:主键索引文件,用于加快查询效率。
minmax_create_time.idx:分区键的最大最小值。
checksums.txt:校验文件,用于校验各个文件的正确性。存放各个文件的size以及hash值。

(3)MergeTree的 PRIMARY KEY(该关键字是可选的)

          ClickHouse 中的主键,和其他数据库不太一样, 它只提供了数据的一级索引,但是却不是唯一约束。 这就意味着是可以存在相同 primary key 的数据的。主键的设定主要依据是查询语句中的 where 条件。根据条件通过对主键进行某种形式的二分查找,能够定位到对应的 index granularity,避免了全表扫描。

index granularity: 直接翻译的话就是 索引粒度,指在稀疏索引中两个相邻索引对应数 据的间隔。ClickHouse 中 MergeTree 默认是 8192。官方不建议修改这个值,除非该列存在 大量重复值,比如在一个分区中几万行才有一个不同数据。

稀疏索引:稀疏索引 的好处就是可以用很少的索引数据,定位更多的数据,代价就是只能定位到索引粒度的第一行,然后再进行进行一点扫描。

(4)MergeTree的 ORDER BY(该关键字是必选的)

           order by 设定了分区内的数据按照哪些字段顺序进行有序保存。order by 是 MergeTree 中唯一 一个必填项,甚至比 primary key 还重要,因为当用户不设置主键的情况,很多处理会依照 order by 的字段进行处理(比如去重和汇总)。注意:主键必须是 order by 字段的前缀字段。比如 order by 字段是 (id,sku_id) 那么主键必须是 id 或者(id,sku_id)

(5)MergeTree的 二级索引
           目前在 ClickHouse 的官网上二级索引的功能在 v20.1.2.4 之前是被标注为实验性的,在这个版本之后默认是开启的。老版本使用二级索引前需要增加设置,是否允许使用实验性的二级索引(v20.1.2.4 开始,这个参数已被删除,默认开启)set allow_experimental_data_skipping_indices=1;

(6)MergeTree的 数据 TTL
           TTL 即 Time To Live,MergeTree 提供了可以管理数据表或者列的生命周期的功能,主要分为两种:列级别 TTL、表级 TTL

第四种:ReplacingMergeTree

           ReplacingMergeTree 是 MergeTree 的一个变种,它存储特性完全继承 MergeTree,只是多了一个去重的功能。 尽管 MergeTree 可以设置主键,但是 primary key 其实没有唯一约束的功能。如果你想处理掉重复的数据,可以借助这个 ReplacingMergeTree。

1)去重时机:数据的去重只会在合并的过程中出现。合并会在未知的时间在后台进行,所以你无法预先作出计划。有一些数据可能仍未被处理。

2)去重范围:如果表经过了分区,去重只会在分区内部进行去重,不能执行跨分区的去重。所以 ReplacingMergeTree 能力有限, ReplacingMergeTree 适用于在后台清除重复的数据以节省空间,但是它不保证没有重复的数据出现。

  1. 去重实际上是使用 order by 字段作为唯一键
  2. 去重不能跨分区
  3. 只有同一批插入(新版本)或合并分区时才会进行去重
  4. 认定重复的数据保留,版本字段值最大的
  5. 如果版本字段相同则按插入顺序保留最后一笔

第五种:SummingMergeTree

           对于不查询明细,只关心以维度进行汇总聚合结果的场景。如果只使用普通的MergeTree的话,无论是存储空间的开销,还是查询时临时聚合的开销都比较大。ClickHouse 为了这种场景,提供了一种能够“预聚合”的引擎 SummingMergeTree。我们在设计聚合表的时候,可以将唯一键值、流水号去掉,所有字段全部是维度、度量或者时间戳。

  1. 以 SummingMergeTree()中指定的列作为汇总数据列
  2. 可以填写多列必须数字列,如果不填,以所有非维度列且为数字列的字段为汇总数据列
  3. 以 order by 的列为准,作为维度列
  4. 其他的列按插入顺序保留第一行
  5. 不在一个分区的数据不会被聚合
  6. 只有在同一批次插入(新版本)或分片合并时才会进行聚合

场景问题

我们能不能直接通过执行下面的 SQL 来得到汇总值 ?
select total_amount from XXX where province_name=’’ and create_date=’xxx’

回答:
不行,执行该SQL 可能会包含一些还没来得及聚合的临时明细;因为:如果要是获取汇总值,还是需要使用 sum 进行聚合,这样效率会有一定的提高,但本身 ClickHouse 是列式存储的,效率提升有限,不会特别明显,我们应该使用这样的SQL: select sum(total_amount) from province_name=’’ and create_date=‘xxx’

在这里插入图片描述

你可能感兴趣的:(ClickHouse,数据库,sql,ClickHouse,多维分析,nosql数据库)