7M推荐系统 - S1 推荐系统和常用算法

1 推荐系统简介

推荐系统介绍

见S0

推荐系统评估

显式反馈和隐式反馈

• 准确性（学术界）
  评分预测
  topN推荐，准确和召回率
• 准备性（工业界）
  信息流：时长 -> 用户行为 -> 关注和付费
  电商：浏览深度 -> 用户行为 -> 付费
• 分层流量占比
  销量大于10000的占比多少
  9000到10000的占比多少
• 多样性 新颖性 惊喜性
  推荐内物品不一样，推没见过的关注，与历史偏好不太一样
  • Exploitation & Exploration
    Bandit算法：
    Epsilon-greedy, Upper Confidence Bound, Thompson Sampling
    应用：
    兴趣探索，冷启动探索，LinUCB加入特征信息，COFIBA和协同过滤结合
    EE实践：
    兴趣扩展，人群算法，Bandit，graph walking，平衡个性化和热门推荐比例，随机丢弃用户行为历史，随机扰动模型参数
    Trade off：
    短期和长期
    数据的真实性（ctr涨了，可能是很多用户走了）
    推荐可能越来越窄

评估方法：离线评估和在线评估相结合，定期做问卷调查

• 问卷调查
• 离线评估
• 在线评估：AB测试

推荐系统实践

推荐系统的冷启动问题

具体见S0
用户冷启动
物品冷启动
系统冷启动

2 召回算法和业界实践

Item CF/User CF

• 改进版I2I
  motivation:热门用户，哈利波特效应，用户行为缺乏考虑
  solution:热门用户降权，热门Item降权
• 实时I2I
  motivation:新品推荐问题
  solution:实时增量i2i
• Hybrid
  motivation:无监督学习，无法刻画场景差异
  solution:有监督Hybrid多少i2i算法

3 搜索和推荐的matching技术

• 需求
  理论基础
  代码能力
  业务sense+论文+经验
• 用的特征
  user，item，u2i（用户最近买了多少某个item），context
• 方法
  先用神经网络学然后得到Embedding，然后比较embedding相似度
  或者直接传入item，user计算相似度
  Two power方法
  Wide and deep方法
• 使用的一些深度模型算法
  Based on DNN: DSSM
  Based on CNN: CDSSM, ARC I, CNTN
  Based on RNN: LSTM-RNN

4 推荐业务、feed流产品及推荐算法策略架构解析

• 特征
  user，item，context
  其中item特征最重要
  统计特征也是重要的如7天，14天，21天，28天
• 模型
  lr，gbdt树模型，xgb，dnn，fm，ffm，deepfm，deep cross net，wide and deep
• 注意点
  latency：小于0.1s
  召回 -> 精排
  多路召回分支相当于dict
  key（用户历史浏览的item/用户的标签/地域/时间。。。/主题topic/userid）
  value(item/userid)
• 指标
  一般用AUC，测试集在0.7-0.8
• 冷启动
  用户冷启动：直接分发热门，收集用户特征分发，制造粗粒度选项分发，分享用户数据分发，最后用bandit算法；
  物品冷启动：对物品内容tag2i，或者用bandit算法