个性化推送系统

1.目标

通过内容推荐到达用户，触发用户点击推送，提供更多内容分发入口，同时提升DAU。

2.数据

2.1 App数据现状

• WAU: 244w. VUV: 184w(两周 240w) SE: 97.6w.
• 启动次数: 2643w
• 两周用户观看视频个数分布:
  • 中位数:6
  • 70分位:17
  • 90分位:39
  • 100分位:1800
• 2.3w个PGC视频具备二级分类标签以及曲风
• 用户行为维度包括观看时长以及观看个数。视频维度包括播放次数、分享次数、评论个数

结论：从视频观看入手能够覆盖75%的用户,其中超过37.5%用户具有多次视频观看行为，具备基于内容推荐的数据基础。

2.2 算法

采用基于内容的推荐算法，快速迭代测试版。

2.2.1 基于内容的TopN推荐

1. 数据归一化

用户维度和视频维度都采用非线性归一化。比Z-Score实现简单，结果落入[0,1]区间。效果极其接近。鲁棒性比线性离散化要强，能够容忍数据噪声。

f(x)=atan(x)*2/PI()

2. 计算方法

• 统计用户过去两周观看视频，根据子类计算每类视频观看个数以及观看时长,计算用户类别的得分f(user)。
• 根据视频三个维度，归一化，计算每个视频的综合得分 f(video).
• 关联用户得分和视频得分，计算用户每个视频得分f(score),去除过去一个月推送历史的视频，得到最高得分(TopN)的f(score)的视频。

公式表达:

f(user)=n(time)+n(vcnt)
f(video)=n(hits)+n(share)+n(comment)
f(score)= max(f(user)*f(video))

2.2.2 冷启动与抄底

1. 使用混排技术暂时不存在冷启动问题(筛选了有行为的用户)--- 应该做更强的过滤规则

2. 抄底数据使用，糖豆广场舞课堂专家推荐数据：

• 掌声在哪里：舞友最爱的爆款
• 乌来山下一朵花：零基础入门级
• 哥哥你别忘了我：旋律超洗脑
• 幸福小城：唯美，水墨风
• 南屏晚钟：唯美，集体舞
• 你潇洒我漂亮：双人舞
• 燃烧的爱火：风格独特

3. 服务

3.1 服务流程

1. 数据端生成Hive表 Personal_Push。
2. 服务端导入HBase读取。根据vid正则匹配标题,关联作者。
3. 调用信鸽API,进行批量发送。

参数	含义	取值
token	用户信鸽token	343434344fff
vid	推送的视频的id	77555343
dt	推送日期	2016-08-25

3.2 推送后台(暂时不开发)

1. 分组
2. 标签
3. 地图框选

3.3 未来服务架构

pp.png

4. 文案

• 通用型
  • [猜您喜欢]亲，为你推荐XXX老师的XXX视频(舞蹈),快来看看吧。
  • [XXX] 您可能错过了XXX内容。
• 注册用户
  • XXX,快看看XXX,XXX等人的视频。
  • XXX,您身边的好友都在看XXX这个视频哦。

5.评估

• 达到率
• 打开率
• 可能带来的DAU

6.问题

• 数据
• 视频数据质量很低，分类不合理，维度不够
• 用户关系覆盖不够，限制更多的推送手段
• 算法
• 采用协同过滤等
• 服务
• 信鸽到达率存疑，数据存疑

7.追踪

9月1号正式环境的个性化推送，原计划推330w设备，受限于信鸽自有性能，十个小时推送了240w设备，qps大概在6左右。

7.1 当日监测:

1. 监测到8.8w行为(140w)，根据之前在高德的通用到达率和打开率的对比，推测信鸽通用达到率在7_{20%左右,远低于友盟65}70%的达到率。
2. 整体数据评估：

• 推送接受率99.5%,送出未知，通道送达未知，送达未知。
• 打开/删除比例 1:2。

7.2 数据评论:

推送数据评估需要完整链条，请求发送 ---> 推送服务受理 ---> 推送服务送出 ---> 通道送达 --->APP送达 -->APP打开。
目前信鸽链条数据只有前面两步和最后一步，无法计算出核心数据，到达率和打开率。

7.3 下一个阶段工作目标:

• 从信鸽单推送通道升级到包括小米、华为以及友盟等多通道推送，逐步自建推送系统。
• 目前主要是针对内容的推送，目前内容数据维度非常糟糕，表现为数据缺失、维度稀少、数据不合理等等。后续需要大力梳理数据，提升数据可用性。
• 持续的算法评估以及提升，下一步基于Spark的协同过滤算法，提高推荐系统的性能和效用。

7.4 后续数据追踪:

• 结论：
  • 信鸽推送瞬间到达比较少，推送需要一个较长的时间消化。所以选择时间点比较重要。
  • 信鸽到达率比较低。
  • 现在每天的大推只给了140w设备推送，后续需要切到个性化推送系统上来。全量推780w设备。
  • 同一个设备信鸽号在短时间很难稳定，不少设备信鸽号持续变化，导致设备收不到推送。
• 表格：

推送时间	请求发送	推送送出	通道送达	到达率(通道送达/请求发送)	APP打开	打开率(APP打开/通道送达)
2016-09-02 15:00	3750424	2,576,949	2,535,222	67.60%	101,785	4.01%
2016-09-03 18:00	3809956	2,542,567	2,441,994	64.10%	90,512	3.71%
2016-09-04 12:00	5152682	2,766,853	2,588,681	50.24%	110,400	4.26%
2016-09-05 17:00	5201838	2,495,540	2,346,331	45.1%	87,645	3.74%

• 结论：
  尽快放弃信鸽推送。