1 概述
如果将ClickHouse作为Log或Metrics这种具有明显时序特征数据的存储和分析引擎，那就需要考虑这些数据的生命周期管理，即设置数据的老化机制，如是否需要根据时间划分数据存储等级、设定数据的保留时长等。
ClickHouse支持从分区、列、表等粒度对数据进行管理，如分区数据的迁移、删除，列、表的TTL设置。
2 数据生命周期管理
2.1 热温数据分离
2.1.1 环境准备
docker run -d --name=ch24 --hostname=node24 --network=host --ulimit nofile=262144:262144 --volume=/etc/localtime:/etc/localtime --volume=/data/ch/conf:/etc/clickhouse-server --volume=/data/ch/data:/var/lib/clickhouse --volume=/data/ch/disk:/mnt --volume=/data/ch/log:/var/log yandex/clickhouse-server
2.1.2 热温存储划分
热数据一般为最近几天或几周的数据，访问频率最高，通常采用SSD作为存储介质，达到存储时长后，会自动迁移至温数据区；而温数据一般为数月之内的数据，访问频次相对较低，通常采用普通机械盘作为存储介质。
对于Log或Metrics类型数据使用时间字段作为分区键和排序键，ClickHouse虽然没有提供基于时间的数据自动迁移（目前只提供基于分区大小的数据自动迁移），但可以利用其卷划分机制。
- /data/ch/disk/hot1,hot2 作为热数据存储
- /data/ch/disk/warm1 作为温数据存储
2.1.3 磁盘与存储策略配置
/mnt/hot1/
1048576
/mnt/hot2/
1048576
/mnt/warm1/
1048576
disk_hot1
disk_hot2
disk_warm1
0.2
磁盘配置参数（disks标签）
- disk_name：必选，必须全局唯一，自定义磁盘名称
- path：必选，用于指定磁盘路径，必须以“/”结尾
- keep_free_space_bytes：可选，用于定义磁盘预留空间
策略配置参数（policies标签）
- policies_name：必选，必须全局唯一，自定义策略名称
- volume_name：必选，必须全局唯一，自定义卷名称
- disk：用于关联disks配置中的磁盘，可以声明多个disk，MergeTree会按定义的顺序选择
- max_data_part_size_bytes：可选，单个数据分区的最大存储阈值，如果当前分区的数据大小超过阈值，则之后的分区会写入下一个disk磁盘
- move_factor：可选，默认为0.1，如果当前分区的可用空间小于factor因子，并且定义了多个卷，则数据会自动向下一个卷移动
- prefer_not_to_merge：可选，是否在当前卷中合并数据分区
2.1.4 分区数据迁移
目前只能通过ALTER查询语句移动分区：
# 移动某个分区至当前存储策略中当前volume下的其他disk磁盘
ALTER TABLE hot_warm_table MOVE PART 'all_1_2_1' TO DISK 'disk_warm1'
# 移动某个分区至当前存储策略中其他的volume
ALTER TABLE hot_warm_table MOVE PART 'all_1_2_1' TO VOLUME 'warm'
2.1.5 示例
1）按照上述方式启动ClickHouse实例，并配置存储策略
查看磁盘配置：
SELECT
name,
path,
formatReadableSize(free_space) AS free,
formatReadableSize(total_space) AS total,
formatReadableSize(keep_free_space) AS reserved
FROM system.disks
查看策略配置：
SELECT
policy_name,
volume_name,
volume_priority,
disks,
formatReadableSize(max_data_part_size) AS max_data_part_size,
move_factor
FROM system.storage_policies
2）创建一张MergeTree表用于测试
CREATE TABLE hot_warm_table
(
`id` UInt64,
`StartDate` Date
)
ENGINE = MergeTree()
PARTITION BY toYYYYMM(StartDate)
ORDER BY id
SETTINGS storage_policy = 'moving_from_hot_to_warm'
注意：需指定storage_policy，否则数据会写入默认存储路径中
3）写入测试数据
写入第一批数据，会创建一个分区目录：
INSERT INTO TABLE hot_warm_table SELECT rand(),'2020-12-02 11:11:11' FROM numbers(100000)
SELECT partition_id,name,table,disk_name FROM system.parts WHERE table = 'hot_warm_table'
写入第二批数据，会创建一个新的分区目录：
INSERT INTO TABLE hot_warm_table SELECT rand() FROM numbers(100000)
SELECT partition_id,name,table,disk_name FROM system.parts WHERE table = 'hot_warm_table'
如果触发合并操作，会生成一个新分区目录：
optimize TABLE hot_warm_table
SELECT name, disk_name FROM system.parts WHERE table = 'hot_warm_table'
注意：由多个disk组成的volume，每当生成一个新数据分区时，会依照disk定义的顺序，依次轮询写入
4）迁移数据分区到温数据区
ALTER TABLE hot_warm_table MOVE PART '202012_1_2_1' TO VOLUME 'warm'
SELECT name, disk_name FROM system.parts WHERE table = 'hot_warm_table'
注意：合并后尚未被清理的数据分区无法移动
2.2 保留趋势数据
可以通过物化视图同步MergeTree表中的数据到SummingMergeTree或AggregatingMergeTree表引擎中，利用既定的聚合条件得到趋势数据并存储。
2.3 过期数据清理
2.3.1 删除指定数据分区
ALTER TABLE hot_warm_table DROP PARTITION '202012'
注意：此处可以指定partition_id进行数据分区删除，如果partition_id是all，则无法直接删除。
2.3.2 设置数据TTL自动删除
在MergeTree中，可以为某个列字段或整张表设置TTL。当时间到达时，如果是列字段级别的TTL，则会删除该列的数据；如果是表级别的TTL，则会删除整张表的数据；如果同时设置了列级别和表级别的TTL，则会以先到期的那个为主。
1）列级别TTL
CREATE TABLE ttl_table_v1
(
`id` String,
`create_time` DateTime,
`code` String TTL create_time + toIntervalSecond(10),
`type` UInt8 TTL create_time + toIntervalSecond(10)
)
ENGINE = MergeTree
PARTITION BY toYYYYMM(create_time)
ORDER BY id
2）表级别TTL
CREATE TABLE ttl_table_v2
(
`id` String,
`create_time` DateTime,
`code` String TTL create_time + toIntervalMinute(1),
`type` UInt8
)
ENGINE = MergeTree
PARTITION BY toYYYYMM(create_time)
ORDER BY create_time
TTL create_time + toIntervalDay(1)
注意：ClickHouse没有提供删除TTL声明的方法，但提供了控制全局TTL合并任务的启停方法：
SYSTEM STOP/START TTL MERGES
参考：《ClickHouse原理解析与应用实践》