ClickHouse插入数据成功但是没有数据的问题

日常小笔记

背景：
使用ALTER TABLE chtable_c1 delete where id<15; 删除数据后。

再插入相同的数据就会出现有如下情况

原来的数据

插入语句和再次查看数据

日志中的问题提现：

2019.09.09 22:17:07.014152 [ 47 ] {5444152b-f8a2-4092-8076-58e5d4462ca8} executeQuery: (from 172.20.44.13:58310) insert into chtable_c1 values
2019.09.09 22:17:07.026205 [ 47 ] {5444152b-f8a2-4092-8076-58e5d4462ca8} db.chtable_c1 (Replicated OutputStream): Wrote block with ID '201912_15429777648785638502_11816576347281729008', 1 rows
2019.09.09 22:17:07.030457 [ 47 ] {5444152b-f8a2-4092-8076-58e5d4462ca8} db.chtable_c1 (Replicated OutputStream): Block with ID 201912_15429777648785638502_11816576347281729008 already exists; ignoring it.

 

 

大概意思是说已经有一个一模一样的数据块了。

另外ck没有事务概念，但是为了保证重复插入的insert的幂等性，会检测重复，如果重复则跳过。

如果想不跳过可以SET insert_deduplicate=0

详细说明参见

https://github.com/yandex/ClickHouse/issues/3526

 

摘要：

不建议关掉这个重复检查，因为这事唯一的幂等性检测，另外重复的数据块是以批次为单位的，如果同一批次和第二批次是一模一样的，通常情况下就不会产生删除了再插入的情况。