ClickHouse副本机制简介

Clickhouse 副本节点之间通过Zookeeper 的log数据和其他控制信息,实现了副本间数据的异步同步。本文中简单介绍插入数据后副本之间同步流程。

副本表Zookeeper目录结构

创建副本表,并插入数据,在Zookeeper上可以看到表目录下主要包含下列目录信息,
ReplicatedMergeTree(’/clickhouse/tables/{shard}/tbl_replicated’, ‘{replica}’)

tbl_replicated:
| —— block_numbers
    |all
| —— blocks
| —— columns 列信息
| —— leader_election
    | —— leader_election-0000000000 主信息,副本节点(multiple leaders ok)
| —— log
    | —— log-0000000000 part名称以及相关的块信息,创建时间,source replica, part_type
| —— metadata 元数据信息 (未变化)
| —— mutations 空 (未变化)合并场景,alter table的场景
| —— nonincrement_block_numbers 空 (未变化)
| —— quorum    ----> 默认情况下,INSERT 语句仅等待一个副本写入成功后返回。
             如果数据只成功写入一个副本后该副本所在的服务器不再存在,
             则存储的数据会丢失。
             要启用数据写入多个副本才确认返回,使用 insert_quorum 选项。
    | —— failed_parts
    | —— last_part
    | —— parallel
| —— replicas
    | —— 1 、2
        | —— columns 列信息
        | —— flags
        | —— host 当前副本的主机信息,端口号
        | —— is_active 副本节点ClickHouseServer进程PID
        | —— is_lost
        | —— log_pointer ===》 1
        | —— max_processed_insert_time
        | —— metadata 元数据信息
        | —— metadata_version
        | —— min_unprocessed_insert_time
        | —— mutation_pointer
        | —— parts 副本包含的part 信息
        | —— queue 副本节执行操作的队列

同步流程

ClickHouse副本机制简介_第1张图片

数据插入,流程如下:

  1. 在其中2副本节点插入数据时,如果数据只存在1个partition的数据,则在该副本节点产生1个part。
  2. ClickHouse Server从tbl_replicated/block_numbers/all(all是分区名,没有分区的情况下是all) 获取新产生part的下标,该下标是递增的。使用获取的part 下标产生对应的part 名。比如,首次插入数据从tbl_replicated/block_numbers/all获取到的下标是0, 则产生all_0_0_0 的part名。下次插入时,从tbl_replicated/block_numbers/all获取到的下标是1,产生的part 名是all_1_1_0;
  3. 用这个part 名生成写入磁盘后,在zookeeper副本表目录下产生part 信息node
    tbl_replicated/replicas/2/parts/all_0_0_0

在tbl_replicated/replicas/2/part/all_0_0_0在tbl_replicated/log目录产生log-0000000000 日志信息:

[zk: 8.5.131.220:24002(CONNECTED) 11] get /clickhouse/tables/17/tbl_replicated/log/log-0000000000
format version: 4
create_time: 2021-11-20 14:27:00
source replica: 2
block_id: all_3218416765532976388_2128470793510818708
get
all_0_0_0
part_type: Compact
source replica: 2 表明该part 是从副本2产生的

副本同步流程

  1. 副本节点1 定时读取tbl_replicated/log 目录,读取到新的log后,将log同步到本副本节点的tbl_replicated/replicas/1/queue/queue-00000000000, 然后更本节点的tbl_replicated/replicas/1/log_pointer 值为0,表明本副本已经执行到log-0000000000,后续执行log-0000000001(包含)之后的log
  2. 内核中副本表的定时任务从tbl_replicated/replicas/1/queue消费节点,读取到log-0000000000的内容时,需要从source replica: 2 拉取part ,副本2对应的主机节点host 从znode 节点/clickhouse/tables/17/tbl_replicated/replicas/2/host获取:

    host: 8-5-131-220
    port: 21429
    tcp_port: 9000
    database: db_test
    table: tbl_replicated
    scheme: https

    拉取到part后,副本1也写入tbl_replicated/replicas/1/parts/all_0_0_0的znode ,表明本副本节点有这个part数据。
    在副本消费queue的过程中,并不是严格先入先出的顺序。如果看到log 的类型是merge 而不是get ,则考虑优先去拉取merge后的part 数据,而不是直接拉取原始的part

  3. log 清除逻辑。当log_xxxxxxx下标已经小于所有有副本的log_pointer ,且log 目录下的数量已经大于指定阈值,则会清除该log节点。

    本文由华为云发布

你可能感兴趣的:(程序员)