【大数据clickhouse】clickhouse 数据备份与恢复

一、前言

 

与其他的数据存储引擎类似，clickhouse承载着大数据量级的数据存储，对于数据的备份与恢复也是必须考虑的，本文将通过操作演示下如何对clickhouse数据进行备份与恢复。

官网说明： 官网备份操作说明

clickhouse可以通过手动进行数据恢复，也可以通过工具进行恢复；

二、clickhouse 数据手动备份与恢复演示

ClickHouse 允许使用 ALTER TABLE ... FREEZE PARTITION ... 查询以创建表分区的本地副本。
这是利用硬链接(hardlink)到 /var/lib/clickhouse/shadow/ 文件夹中实现的，所以它通常不会因为旧数据而占用额外的磁盘空间。 创建的文件副本不由 ClickHouse 服务器处理，所以不需要任何额外的外部系统就有一个简单的备份。防止硬件问题，最好将它们远程复制到另一个位置，然后删除本地副本。

在正式操作之前，再温馨提示下，clickhouse使用rpm的方式安装时，几个安装后的数据文件目录位置：

bin/    /usr/bin
conf/   /etc/clickhouse-server
lib/    /var/lib/clickhouse
log/    /var/log/clickhouse

2.1  数据准备

在默认的数据库下，之前我们创建了下面这张表，并且有几条数据；

2.2  创建备份路径

创建用于存放备份数据的目录 shadow， 如果之前目录存在，先清空目录下的数据

2.3  执行备份命令

echo -n 'alter table t_order_mt freeze' | clickhouse-client

或者在客户端命令行执行

alter table t_order_mt freeze;

注意：使用了冻结命令之后并不会锁表

执行完毕上面的命令之后，在shadow目录下会多出下面的几个目录和相关的文件

一路cd进去，可以发现里面其实就是存放了按照分区存放的数据； 

2.4  将备份数据保存到其他路径

以上shadow相当于是数据文件备份的一个中间临时目录，因此需要将备份数据转移到其他目录，方便后面进行数据恢复时使用，按照下面的步骤依次执行；

#创建备份存储路径
sudo mkdir -p /var/lib/clickhouse/backup/

#拷贝数据到备份路径
sudo cp -r /var/lib/clickhouse/shadow/ /var/lib/clickhouse/backup/my-backup-name

#为下次备份准备，删除 shadow 下的数据
sudo rm -rf /var/lib/clickhouse/shadow/*

执行过程

ClickHouse 是 使用文件系统硬链接来实现即时备份，而不会导致 ClickHouse 服务停机（或

锁定）。这些硬链接可以进一步用于有效的备份存储。在支持硬链接的文件系统（例如本地

文件系统或 NFS ）上，将 cp 与 -l 标志一起使用（或将 rsync 与 –hard-links 和 –numeric-ids 标志 一起使用）以避免复制数据。 注意：仅拷贝分区目录，注意目录所属的用户要是 clickhouse

2.5  数据恢复

模拟删除备份过的表

 drop table t_order_mt;

重新创建表

create table t_order_mt(
 id UInt32,
 sku_id String,
 total_amount Decimal(16,2),
 create_time Datetime
) engine =MergeTree
 partition by toYYYYMMDD(create_time)
 primary key (id)
 order by (id,sku_id);

将备份复制到 detached 目录

执行下面的命令

sudo cp -rl /var/lib/clickhouse/backup/my-backup-name/1/store/ecc/ecce0769-b776-4d10-acce-0769b776ed10/* /var/lib/clickhouse/data/default/t_order_mt/detached/

执行 attach命令

执行时如果出现上面的报错，说明clickhouse这个用户无操作权限，需要做一下授权

然后再次执行上面的attach命令，这时就attach成功了

执行完成后，查询下当前这张表，发现数据就恢复回去了

三、使用 clickhouse-backup做数据备份与恢复

上面，我们演示了手动做clickhouse的数据备份与恢复的过程，过程还是有点麻烦的，其实我们可以使用 Clickhouse 的备份工具 clickhouse-backup 帮我们自动化实现，工具地址：

clickhouse-backup 工具下载地址

前置准备

1、上传安装包工具

2、使用rpm安装

sudo rpm -ivh clickhouse-backup-1.0.0-1.x86_64.rpm

注意：安装完毕后，默认在 /etc/clickhouse-backup/ 目录下

3、配置相关文件

配置文件大概长下面这样，核心要配置的文件默认情况下主要是下面几个

常用操作命令与数据表的备份操作

1、查看可用命令

clickhouse-backup help

2、显示要备份的表

 clickhouse-backup tables

3、查看现有的本地备份

clickhouse-backup list

执行这个命令，发现上面我们做手动备份时候创建的目录被识别到了

 注意，为了不影响后面使用命令备份数据造成混淆，建议先把之前的该目录下文件删除掉

4、创建备份

 sudo clickhouse-backup create

执行完成后，在 ： /var/lib/clickhouse/backup 目录下就产生了新的备份数据；

 通过这种方式备份出来的数据和文件，看起来包含的内容更加全面

数据恢复操作

1、模拟删除备份过的表

删除default数据库

2、从备份还原

执行下面的命令进行数据恢复

sudo clickhouse-backup restore 2022-12-18T09-50-43

相关参数补充说明

--schema 参数：只还原表结构；

--data 参数：只还原数据；

--table 参数：备份（或还原）特定表。也可以使用一个正则表达式，例如，针对特定的

数据库： --table=dbname.*

执行这个命令时，会将系统中所有备份过的数据表都执行一次，如果已经存在了，会跳过 

3、数据检查

可以发现数库和数据表已经恢复回来了

其他补充说明

1、api文档链接

clickhouse-backup api文档地址

2、注意事项

切勿更改文件夹 /var/lib/clickhouse/backup 的权限，可能会导致数据损坏

3、关于远程备份说明

• 较新版本才支持，需要设置 config 里的 s3 相关配置；
• 上传到远程存储：sudo clickhouse-backup upload xxxx；
• 从远程存储下载：sudo clickhouse-backup download xxxx；
• 保存周期： backups_to_keep_local，本地保存周期，单位天；backups_to_keep_remote，远程存储保存周期，单位天；0 均表示不删除；