基于clickhouse研发高性能 用户分群 操作

背景

DCP是目前大多数公司在进行用户精细化运营和市场营销中常用的工具，其核心的技术是快速生成用户群；举个栗子，运营同学希望对用户表里当日注册用户，且订单表里当日有下单的用户进行加积分操作，那么一般的处理思路是将两张表按照用户id进行join，然后根据日期进行筛选，最终得到想要的用户群。
这种方案流程是可行的，但研发成本较高，需要基于前端交互解析成灵活的sql，而且关联查询很难保障查询效率。

案例

那么基于以上问题，这里将使用多数据表交、叉、并操作实现用户群的生成，该方法针对百万级用户群生成可秒出。

如针对满足以下条件的用户发放会员折扣券：
针对当天注册新用户中，身份为非会员用户，且当日有过作品创建；或者当日有会员下单记录但未成功支付的用户

实现

1、根据用户表(千万级)生成当日注册子集

SELECT groupUniqArray( create_user ) from app.scene_model where create_time = now

2、根据身份表(十万级)生成子集

SELECT groupUniqArray( user_id) from app.user_type where create_time = now and type = 0

3、根据作品表(亿级)生成子集

SELECT groupUniqArray( user_id) from app.scene_model where create_time = now  

4、根据订单表(千万级)生成子集

SELECT groupUniqArray( user_id) from app.order_model where create_time = now and success = 0

那么我们对前三个用户子集进行求交，再与第四个用户子集取并将得到我们想要的用户群。最终代码如下：

with ( SELECT groupUniqArray( create_user ) from app.scene_model where create_time = now )as users1,     
 ( SELECT groupUniqArray( user_id) from app.user_type where create_time = now and type = 0 )as users2 ,    
 ( SELECT groupUniqArray( user_id) from app.scene_model where create_time = now ) as users3  , 
 ( SELECT groupUniqArray( user_id) from app.scene_model where create_time = now )  as users4   
SELECT   arrayDistinct( arrayConcat( arrayIntersect( users1,users2, users3)  ,users4 ) ) as user_ids

优化

1、由于用户选择数据集的过程是顺序完成的，所以当用户完成一个数据子集后可对其进行缓存，在求交时性能会大幅提升

create table users1 ENGINE =   Memory  
  as 
SELECT groupUniqArray( create_user ) from app.scene_model where create_time = now

2、对群结果进行缓存

create table uids engin=Memory as  SELECT   arrayDistinct( arrayConcat( arrayIntersect( users1,users2, users3)  ,users4 ) )