【读书笔记】美团机器学习实践-5.2 用户画像数据挖掘
标签体系生产
用户画像架构
用户标识
1. pin: Personal Identification Number个人识别码
2. userID存在问题：
(1) 无法包括同一用户其他网络数据（大量数据缺失）；
(2) 必须是登录状态才能记录数据（未登录状态数据丢失）；
(3) 多个账号（利益趋势下注册多个账号获取优惠补贴）
3. uuid: Universally Unique Identifier通用唯一识别码
4. device ID（用户设备ID）：按照用户设备信息生成的唯一标识ID
5. 自然人概念NPI：一个用户多个ID（userID/deviceID/Mobile/Payaccount/Email/QQ/identityID/unionID），各种ID之间关联（浏览：userID->deviceID，绑定：userID->Mobile，支付：userID->Payaccount），这些一起构成一个实际用户->自然人，所有ID对应一个唯一编号NPI
6. 求解最大连通子图，每个连通子图表示一个自然人
连通图求解问题：用户ID数量几十亿，并差集难以并行，MapReduce迭代时间复杂度O(N)（N为最大子图半径），面对超级簇会出现迭代轮数过多无法及时收敛的问题
解决办法：优化的MapReduce算法，Hash-To-Min，时间复杂度为O(log(N))
特征数据
1. 数据稀疏——大量特征
2. 用户特征库规划和建设：
(1) 不同标签跨品类有效，如婚纱摄影—结婚有小孩，美甲—性别、母婴人群；
(2) 不同属性的关联性，所以为了避免重复复提取特征，高效挖掘降低人力时间成本，需要对用户特征库进行规划和建设；
(3)静态属性、LBS数据、动态行为、外部数据、间接相关实体（居住城市、商圈）（大大解决数据稀疏问题），年月日周节假日进一步划分
样本数据
1. 样本缺失、样本少、单样本
2. 找、转、试
找：问卷、内部员工、人工标注、用户注册服务提交
转：变为可按照时间切分的预测问题，用现在预测未来
试：自学习、直推式、PU学习（One-Class-SVM/Biased-SVM/SPY/NB）等
3. 未标注样本对机器学习有效：数据分布角度分析：如果一个参数化模型能够分解成P(x,y/theta)=P(y/x,theta)*P(x/theta)，则未标记示例的价值体现在，能够帮助更好的估计模型参数，从而提高模型性能
标签建模
1. 涉及领域：算法模型调优+系统工程
(1) 系统工程：标签数据更新、特征数据更新、标签质量监控、特征质量监控、新标签开发；
(2) 算法：优化目标因为面对的问题（分类、回归、语义分析、协同等）广泛，因此也较为广泛（这一点可以对比搜索和广告的明确目标，如CTR、CVR、毛利、访购率等）
2. 大数据计算工具支撑：基于Hadoop生态衍生出的大数据处理工具：
(1) 大数据存储：HDFS、HBase、MongoDB、RocksDB；
(2) 离线批量海量计算：MapReduce、Hive、Spark；
(3) 实时计算框架：Storm、Spark-Streaming、Flink
组件+框架——>结合业务定制开发
美团实例-离线标签生产平台-系统层面
1. 自动训练：
(1) 针对线上模型随时间推移效果下降的问题；
(2) 上线配置文件，重新训练模型，人工确认，上线；
(3) 降低人力成本
2. 特征爬虫：
(1) 特征开发困难；
(2) 提供样本数据，模型会自动搜索内部库，通过计算样本与特征之间的相关性，进行打分；
(3) 能够发现重要的潜在特征，解决了人工找特征难的问题
美团实例-实时标签生产平台-系统层面
实时特征
1. 根据用户行为实时产生的特征数据
2. Kafka，将用户行为作为消息队列中的消息（Kafka高吞吐量的分布式消息系统，更好的吞吐量、内置的分区、冗余及容错性）
3. Storm，构建一系列实时消息消费处理的拓扑，进行实时特征生产：
(1) 解决了实时处理复杂数据的痛点：需要维护一堆消息队列和消费者及其构成的复杂的图结构；
(2) 抽象消息传递，自动并发流式计算，让用户更专注于业务逻辑；
(3) 基于Storm的二次开发和封装
实时计算
1. 用户行为数据：异步，生产入库后一段时间保持不变
例子：用户打开app—>用户定位消息—>查询城市天气（异步计算完毕）—>天气标签写入数据库（用户没有任何动作，实时天气标签计算完成），当用户浏览相应业务时，后台就可以查询实时天气，做出相应的策略
用户行为就可以直接出发部分实时标签的计算，在用户没有想后台请求查询的情况下，标签数据可以提前计算完毕并入库
2. 用户请求数据：同步，当前上下文变化
例子：美食品类实时偏好，通过短期内浏览点击美食品类信息计算，时间越久权重越低
美团实例-标签挖掘-算法
1. 特征工程
特征提取：数据格式化
特征监控：特征质量保障
特征处理：异常数据处理，过滤、嵌入、包装等
2. 模型
说明：图表均来自《美团机器学习实践》-美团算法团队著