标签系统技术考虑

标签是对用户某个维度特征做描述与刻画，让使用者快速获取信息。

标签分为事实类标签、规则类标签、算法类标签。

标签生产、存储与查询是标签系统开发的核心技术问题。

对此有以下粗浅认识并记录。

标签生产

标签通过数据仓库离线计算与事件实时计算进行生产。

标签存储

标签一般采用大宽表存储。

数据量较大可以使用HBase存储，

数据量较小可以使用ES存储。

存储格式采用非结构格式：JSON对象的keyvalue方式。

标签查询

标签查询需要逻辑组合多个标签进行查询。

可以选择倒排索引数据库进行查询如：ES、PostgreSQL

如对性能要求特别高，可考虑使用支持bitmap技术数据库，自建倒排索引。

ES作为HBase的二级索引，通过标签条件查询获取到用户id，利用用户id在HBase中查询用户所有标签。

海量标签存储引擎选择考虑

• 数据与索引分离

• 数据使用HBase，标签数据格式可以是一个大json也可以按列存储

• 索引使用ES，标签数据格式为json

• 非结构化json可以满足标签灵活扩展，缺点是数据会膨胀

标签技术设计时可以将TP和AP或者说在线和离线的场景分开

使用合适的技术满足对应场景，如：

• 使用ES满足实时查询请求

• 使用HBase或Hive满足全量数据的获取