ClickHouse原理剖析

1.ClickHouse简介

ClickHouse是一款开源的面向联机分析处理的列式数据库，其独立于Hadoop大数据体系，最核心的特点是极致压缩率和极速查询性能。同时，ClickHouse支持SQL查询，且查询性能好，特别是基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级。

ClickHouse核心的功能特性介绍如下：

完备的DBMS功能

ClickHouse拥有完备的数据库管理功能，具备一个DBMS（Database Management System，数据库管理系统）基本的功能，如下所示。

• DDL （数据定义语言）：可以动态地创建、修改或删除数据库、表和视图，而无须重启服务。

• DML（数据操作语言）：可以动态查询、插入、修改或删除数据。

• 权限控制：可以按照用户粒度设置数据库或者表的操作权限，保障数据的安全性。

• 数据备份与恢复：提供了数据备份导出与导入恢复机制，满足生产环境的要求。

• 分布式管理：提供集群模式，能够自动管理多个数据库节点。

列式存储与数据压缩

ClickHouse是一款使用列式存储的数据库，数据按列进行组织，属于同一列的数据会被保存在一起，列与列之间也会由不同的文件分别保存。

在执行数据查询时，列式存储可以减少数据扫描范围和数据传输时的大小，提高了数据查询的效率。

例如在传统的行式数据库系统中，数据按如下表顺序存储：
行式数据库

row	ID	Flag	Name	Event	Event
0	12345678901	0	name1	1	2020/1/11 15:19
1	32345678901	1	name2	1	2020/5/12 18:10
2	42345678901	1	name3	1	2020/6/13 17:38
N	…	…	…	…	…

行式数据库中处于同一行中的数据总是被物理的存储在一起，而在列式数据库系统中，数据按如下表2顺序存储：
列式数据库

row:	0	1	2	N
ID:	12345678901	32345678901	42345678901	…
Flag:	0	1	1	…
Name:	name1	name2	name3	…
Event:	1	1	1	…
Time:	2020/1/11 15:19	2020/5/12 18:10	2020/6/13 17:38	…

该示例中只展示了数据在列式数据库中数据的排列方式。对于存储而言，列式数据库总是将同一列的数据存储在一起，不同列的数据也总是分开存储，列式数据库更适合于OLAP（Online Analytical Processing）场景。

向量化执行引擎

ClickHouse利用CPU的SIMD指令实现了向量化执行。SIMD的全称是Single Instruction Multiple Data，即用单条指令操作多条数据，通过数据并行以提高性能的一种实现方式 ( 其他的还有指令级并行和线程级并行 )，它的原理是在CPU寄存器层面实现数据的并行操作。

关系模型与SQL查询

ClickHouse完全使用SQL作为查询语言，提供了标准协议的SQL查询接口，使得现有的第三方分析可视化系统可以轻松与它集成对接。

同时ClickHouse使用了关系模型，所以将构建在传统关系型数据库或数据仓库之上的系统迁移到ClickHouse的成本会变得更低。

数据分片与分布式查询

ClickHouse集群由1到多个分片组成，而每个分片则对应了ClickHouse的1个服务节点。分片的数量上限取决于节点数量（1个分片只能对应1个服务节点）。

ClickHouse提供了本地表 （Local Table）与分布式表 （Distributed Table）的概念。一张本地表等同于一份数据的分片。而分布式表本身不存储任何数据，它是本地表的访问代理，其作用类似分库中间件。借助分布式表，能够代理访问多个数据分片，从而实现分布式查询。

2.ClickHouse应用场景

ClickHouse是Click Stream + Data WareHouse的缩写，起初应用于一款Web流量分析工具，基于页面的点击事件流，面向数据仓库进行OLAP分析。当前ClickHouse被广泛的应用于互联网广告、App和Web流量、电信、金融、物联网等众多领域，非常适用于商业智能化应用场景，在全球有大量的应用和实践，

3.关键特性

副本机制

ClickHouse利用ZooKeeper，通过ReplicatedMergeTree引擎（Replicated 系列引擎）实现了副本机制。副本机制是多主架构，可以将INSERT语句发送给任意一个副本，其余副本会进行数据的异步复制

副本机制功能：

• ClickHouse副本机制的设计可以最大限度的减少网络数据传输，用以在不同的数据中心进行同步，可以用来建设多数据中心、异地多活的集群架构。
• 副本机制是实现：高可用（HA）、负载均衡（Load Balance）、迁移/升级（Migration/Upgrade）功能的基础。
• 高可用：系统会监视副本数据的同步情况，识别故障节点，并在节点恢复正常时进行故障恢复，保证服务整体高可用。

4.分布式查询

ClickHouse通过分片和分布式表机制提供了线性扩展的能力。

• 分片机制：用来解决单节点的性能瓶颈，通过将数据进行水平切分，将一张表中的数据拆分到多个节点，不同节点之间的数据没有重复，这样就可以通过增加分片对ClickHouse进行线性扩展。
• 分布式表：在查询分片的数据时，通过分布式表进行查询，分布式表引擎自身不存储任何数据，仅是一层代理，能够自动路由到集群中的各个分片节点获取数据，即分布式表需要和其他数据表一起协同工作。

如下图所示，在查询时，我们需要查询分布式表 table_distributed，分布式表会将查询请求自动路由到各个分片节点上，并进行结果的汇聚。

分布式查询

5.MergeTree引擎

MergeTree（合并树）及其系列（*MergeTree）是ClickHouse最强大的存储引擎，被设计用于插入大量数据到一张表中。数据以数据块的形式被快速写入，数据块在后台会进行异步合并，确保高效的插入和查询性能。

主要支持的功能点有：

• 主键排序、稀疏索引
• 支持数据分区
• 支持副本机制 （ReplicatedMergeTree 系列）
• 支持数据采样
• 并发数据访问
• 支持TTL
• 支持二级索引（Data Skipping Index 跳数索引）

6.与组件的关系

如下图所示，ClickHouse和其他组件关系如下：

• Flink支持ClickHouse Sink
• 支持Hive/SparkSQL数据批量导入ClickHouse
• HetuEngine支持ClickHouse数据源
• 常用第三方工具如DBeaver支持ClickHouse对接
• ClickHouse依赖ZooKeeper实现了分布式DDL执行以及ReplicatedMergeTree表主备节点之间的状态同步。

ClickHouse与其他组件关系