Clickhouse备份恢复方式概览

文章目录

  • 一、冷备
  • 二、热备
    • 2.1 数据导入导出
    • 2.2 快照表
    • 2.3 FREEZE备份
    • 2.4 FETCH备份
  • 三、数据恢复

常见备份方式概览

备份方式 特点
物理文件备份 对物理文件进行拷贝,备份期间禁止数据写入
dump数据导入导出 备份方式灵活,但备份速度慢
快照表备份 制作_bak表进行备份
FREEZE备份 表(分区表、非分区表)分区备份,可通过attach进行装载恢复
FETCH备份 ReplicaMergeTree引擎的分区表分区备份,可通过attach进行装载恢复
元数据备份 建表、建库语句备份

常见恢复方式概览

恢复方式 特点
attach 通过对表分区的备份文件进行装载恢复,需要将备份文件放在对应的detached目录下

一、冷备

通过对物理文件的拷贝也可达到备份的效果,但是需要注意的是通过拷贝物理文件进行备份期间,要避免数据写入。

物理文件的备份主要分为两部分:

  • 表数据文件备份,${datadir}/data下可对某个数据库、某张表、某个分区文件进行备份
  • 元数据备份,${datadir}/metadata下可对某个数据库、某张表的建表语句进行备份

二、热备

2.1 数据导入导出

通过查询语句将指定数据导出到tsv文件进行备份,备份数据比较灵活,并且可通过客户端工具进行数据导入恢复。

1、基本语法

-- 导出
clickhouse-client -h ${host} -p ${port} --user=${username} --password=${password} --query="select * from ${table_name}" > ${table_name}.tsv

-- 导入
cat ${table_name}.tsv | clickhouse-client -h ${host} -p ${port} --user=${username} --password=${password}  --query "insert into ${table_name} format TSV";

-- 流式导入导出
clickhouse-client  -h ${host} -p ${port} --user=${username} --password=${password}  --query="select * from . FORMAT CSV" | 
clickhouse-client  -h ${host} -p ${port} --user=${username} --password=${password}  --query="INSERT INTO . FORMAT CSV"

2、示例

1)导出数据到本地文件

# clickhouse-client -h 172.16.104.11 --query="select * from db1.t7_all" > t7_all.tsv

# cat t7_all.tsv
1	aa
3	cc
4	dd
5	ee
2	bb

2)导入备份文件进行恢复

-- 创建表
mdw :) create table t7_bak_local on cluster shard2_repl0 (`id` Int32,`name` String) engine=ReplicatedMergeTree('/clickhouse/tables/{layer}-{shard}/t7_bak_local','{replica}') order by id;
mdw :) create table t7_bak_all on cluster shard2_repl0 (`id` Int32,`name` String) engine=Distributed(shard2_repl0,db1,t7_bak_local,rand());

-- 导入数据
# cat t7_all.csv | clickhouse-client -h 172.16.104.11 --query "insert into t7_bak_all format TSV";

-- 验证数据
mdw :) select * from t7_bak_all order by id;

SELECT *
FROM t7_bak_all
ORDER BY id ASC

┌─id─┬─name─┐
│  1 │ aa   │
│  2 │ bb   │
│  3 │ cc   │
│  4 │ dd   │
│  5 │ ee   │
└────┴──────┘

5 rows in set. Elapsed: 0.019 sec.

2.2 快照表

快照表其实就是创建一个与需要进行备份的表表结构相同的一个bak表,并将数据写入bak表进行备份。

1、基本语法

-- 创建备份表,对于分布式表或者复制表可通过手动指定engine进行区分
create table ${table_name}_bak as ${table_name} ;
create table ${table_name}_bak as ${table_name} engine=xxx order by xx;

-- 备份数据
insert into ${table_name}_bak select * from ${table_name} ;

2、示例

1)创建快照表

-- 创建快照表
mdw :) create table db1.t2 on cluster shard2_repl0 as db1.t7_all ENGINE = Distributed('shard2_repl0', 'db1', 't2_local', rand());
mdw :) create table db1.t2_local on cluster shard2_repl0  as db1.t7_local ENGINE = ReplicatedMergeTree('/clickhouse/tables/{layer}-{shard}/t2_local','{replica}') order by id;

2)备份数据

-- 导入数据
mdw :) insert into t2 select * from t7_all ;
mdw :) select * from t2 order by id;

SELECT *
FROM t2
ORDER BY id ASC

┌─id─┬─name─┐
│  1 │ aa   │
│  2 │ bb   │
│  3 │ cc   │
│  4 │ dd   │
│  5 │ ee   │
└────┴──────┘

5 rows in set. Elapsed: 0.014 sec.

2.3 FREEZE备份

Freeze是基于分区来进行备份的,通过freeze对指定分区进行备份后,CK会将改分区的数据存储在${datadir}/shadow目录下,shadow目录下的N是一个自增长的整数,表示freeze执行的次数。

freeze的备份本质上是通过对原始目录文件进行硬链接实现的,所以不会导致额外的空间存储上涨。

1、基本语法

对于非分区表,ck其实将其认为是仅有一个all的分区表来看,使用freeze时不添加parttion条件即可。

alter table ${table_name} freeze [partition ${partition_expr}];

2、示例

1)分区表

-- 备份数据
sdw1 :) alter table t7 freeze partition 202101;
sdw1 :) alter table t7 freeze partition 202102;


-- 查看shadow目录
[root@sdw1 shadow]# pwd
/data/clickhouse-server/data/shadow
[root@sdw1 shadow]# ll
总用量 4
drwxr-x--- 3 clickhouse clickhouse 18 2月  18 22:16 1
drwxr-x--- 3 clickhouse clickhouse 18 2月  18 22:24 2
-rw-r----- 1 clickhouse clickhouse  2 2月  18 22:24 increment.txt

-- 查看备份数据
[root@sdw1 t7]# pwd
/data/clickhouse-server/data/shadow/1/data/db1/t7
[root@sdw1 t7]# ll
总用量 0
drwxr-x--- 2 clickhouse clickhouse 279 2月  18 22:16 202101_5_5_0
[root@sdw1 t7]# pwd
/data/clickhouse-server/data/shadow/2/data/db1/t7
[root@sdw1 t7]# ll
总用量 0
drwxr-x--- 2 clickhouse clickhouse 279 2月  18 22:24 202102_4_4_0               # 对于分区表,每个分区为一个分区目录


2)非分区表

-- 备份数据
sdw3 :) alter table tt1 freeze;

-- 查看备份数据
[root@sdw3 tt1]# pwd
/data/clickhouse-server/data/shadow/1/data/db1/tt1
[root@sdw3 tt1]# ll
总用量 0
drwxr-x--- 2 clickhouse clickhouse 181 2月  24 16:55 all_1_1_0                  # 对于非分区表,默认为all一个分区

2.4 FETCH备份

fetch仅仅针对 ReplicaMergeTree 引擎的表。其工作原理与 ReplicatedMergeTree同步数据的原理类似, FETCH 通过指定的 zk_path 找到对应所有的数据文件并进行下载,将备份文件存储在 d a t a d i r / d a t a / {datadir}/data/ datadir/data/{db}/${table_name}/detached 目录下。

1、基本语法

alter table ${table_name} fetch partition ${partition_expr} from '${zk_path}'

2、示例

-- 数据准备
sdw1 :) create table t8 on cluster shard1_repl1(`id` Int32,`name` String,`create_date` Date) engine = ReplicatedMergeTree('/clickhouse/tables/{layer}-{shard}/t8','{replica}') PARTITION BY toYYYYMM(create_date) order by id

sdw1 :) insert into t8 values (6,'dsk','2020-07-20'),(4,'ww','2020-01-02'),(19,'bw','2021-02-18'),(17,'bb','2021-01-02'),(12,'aw','2021-01-02'),(21,'cc','2020-01-08'),(32,'ww','2020-02-02');

-- 备份数据
sdw1 :) alter table t8 fetch partition 202101 from '/clickhouse/tables/01-01/t8';          # from后的路径为zk_path的路径,可查看表结构


-- 备份数据
[root@sdw1 202101_0_0_0]# pwd
/data/clickhouse-server/data/data/db1/t8/detached/202101_0_0_0
[root@sdw1 202101_0_0_0]# ls
checksums.txt  columns.txt  count.txt  create_date.bin  create_date.mrk2  default_compression_codec.txt  id.bin  id.mrk2  minmax_create_date.idx  name.bin  name.mrk2  partition.dat  primary.idx

三、数据恢复

物理文件的备份、freeze备份、fetch备份均可以通过attach进行装载,完成数据恢复,需要注意的是:

  • 物理文件备份、freeze备份、fetch备份时,需要关注对元数据进行备份,避免元数据丢失,数据文件无法进行恢复
  • 使用fetch备份表分区文件后,备份文件存储在 d a t a d i r / d a t a / {datadir}/data/ datadir/data/{db}/${table_name}/detached 目录下,可直接通过attach命令进行装载
  • 使用freeze备份表分区文件后,备份文件存储在${datadir}/shadow目录下,若需要进行数据恢复,需要将该目录下的备份文件拷贝到对应的detached目录下,然后进行装载恢复
  • 使用物理文件备份需要将需要恢复的文件拷贝到对应的detached目录下,然后进行装载恢复

1、基本语法

对于备份分区的还原操作,则需要借助 ATTACH 装载分区的方式来实现 。

1)对于分区表

如果要还原分区表的分区数据,首先需要主动将shadow子目录下的分区文件复制到相应数据表的 detached 目录下,然后再使用 ATTACH 语句装载 。

-- 对于分区表,需要提前创建表结构
ALTER TABLE ${tablename} ATTACH PARTITION ${partition_expr};


2)对于非分区表

如果要还原分区表的分区数据,需要主动将all相关的分区目录备份放在对应的表数据目录下,使用 DETACH 语句卸载、ATTACH 语句装载 。

-- 对于非分区表,需要提前创建表结构
ATTACH TABLE ${tablename}               
DETACH TABLE ${tablename}

2、示例

alter table t8 attach partition 202102;

你可能感兴趣的:(Clickhouse,数据库,大数据)