clickhouseMergeTree系列引擎之ReplacingMergeTree
ReplacingMergeTree的作用
- 删除据有相同排序键值的重复项。
- 数据去重是在合并期间进行的
- 后台的合并操作在未知的时间出发，因此用户无法对合并进行计划。
- 可使用OPTIMEZE语句运行计划外的合并，但OPTIMIZE是一个很重要的操作。
- ReplacingMergeTree适合清除后台的重复数据以节省空间。
指定表引擎：
ENGINE - ReplaceMergeTree[ver]
参数：ver，版本列。版本列的类型为UInt*、Date或DateTime。可选参数。
合并的时候，ReplacingTree从所有相同主键的行中选择一行留下：如果ver未指定，选择最后一条。如果制定了ver列，选择ver值最大的版本。
示例1：根据排序键去重
数据准备
建表
DROP TABLE replacingMergeTreeDemo;
CREATE TABLE replacingMergeTreeDemo
(
UserID UInt32,
CounterID UInt32,
UserName String,
EventDate Date
) ENGINE = ReplacingMergeTree()
ORDER BY (UserID, CounterID)
PRIMARY KEY (UserID);
插入数据
分三批次插入数据， 为了观察效果， 下面的三段脚本依次按顺序分别执行， 不要一起执行
#批次1：
insert into replacingMergeTreeDemo values(1,100,'xiaohe1','2020-04-21');
insert into replacingMergeTreeDemo values(2,100,'xiaohe2','2020-04-22');
insert into replacingMergeTreeDemo values(3,102,'xiaohe3','2020-04-23');
#批次2：
insert into replacingMergeTreeDemo values(3,103,'xiaohe3','2020-04-23');
insert into replacingMergeTreeDemo values(2,101,'xiaohe2','2020-04-24');
insert into replacingMergeTreeDemo values(1,100,'xiaohe1','2020-04-20');
#批次3：
insert into replacingMergeTreeDemo values(2,100,'xiaohe2','2020-04-23');
查看数据
select * from replacingMergeTreeDemo;
因不定时合并未达到效果执行手动计划外合并
optimize table replacingMergeTreeDemo;
再次查看数据
示例2：使用版本参数的去重
数据准备
建表
DROP TABLE replacingMergeTreeDemo;
CREATE TABLE replacingMergeTreeDemo
(
UserID UInt32,
CounterID UInt32,
UserName String,
EventDate Date
) ENGINE = ReplacingMergeTree(EventDate)
ORDER BY (UserID, CounterID)
PRIMARY KEY (UserID);
插入数据
分三批次插入数据， 为了观察效果， 下面的三段脚本依次按顺序分别执行， 不要一起执行
#批次1：
insert into replacingMergeTreeDemo values(1,100,'xiaohe1','2020-04-21');
insert into replacingMergeTreeDemo values(2,100,'xiaohe2','2020-04-22');
insert into replacingMergeTreeDemo values(3,102,'xiaohe3','2020-04-23');
#批次2：
insert into replacingMergeTreeDemo values(3,103,'xiaohe3','2020-04-23');
insert into replacingMergeTreeDemo values(2,101,'xiaohe2','2020-04-24');
insert into replacingMergeTreeDemo values(1,100,'xiaohe1','2020-04-20');
#批次3：
insert into replacingMergeTreeDemo values(2,100,'xiaohe2','2020-04-23');
查看数据
select * from replacingMergeTreeDemo;
因不定时合并未达到效果执行手动计划外合并
optimize table replacingMergeTreeDemo;
再次查看数据
