小红书视频推荐学习笔记一：推荐系统基础

推荐系统基础

相关资料

github：https://github.com/wangshusen/RecommenderSystem
视频b站：https://www.bilibili.com/video/BV1PS4y1A7za/

推荐系统基本概念

小红书的转化流程

短期消费指标

阅读完成率最后需要乘以$f(笔记长度)$，是一个归一化函数，使得对长笔记更加公平。
消费指标是短期指标，如果一味关注短期指标，推荐用户感兴趣的内容，消费指标上涨，但是用户很快会失去兴趣，不再活跃。如果关注多样性，可以增加用户粘性,让用户更活跃。

衡量推荐系统的根本指标

推荐系统的实验流程

推荐系统的链路

召回

粗排和精排

重排

链路总结

• 召回：用多条通道，召回几千篇笔记
• 粗排：用小规模神经网络，给几千篇笔记打分，选取出分数最高的几百篇
• 精排：用大规模神经网络，给几百篇笔记打分
• 重排：主要考虑多样性，做多样性抽样、规则打散、插入广告和运营的笔记

推荐系统的AB测试

随机分桶

推全：指的是流量扩大到百分之百，对所有用户都使用。实际使用的时候留下10%的作为Holdout，推广到90%的用户。

分层实验

主要是解决流量不够用的问题。

主要原则：同层互斥，不同层正交，这样可以同时开很多实验

例子：

Holdout机制

用于衡量整个部门的业务指标收益

实验推全、反转实验

实验推全

如果重排中有个实验，使用了一个实验组一个对照组两个桶，使用了20%的用户，在小流量测试的时候发现效果正向，则可以推全。可以将两个桶关掉，给其他实验使用。推全的时候新开一层，新策略推广到90%的用户。

反转实验

尽快推全有好处（如点击、交互等指标立刻受到新策略影响），把实验保留很久也有好处（如留存指标有滞后性，需要长期观测），这就是一对矛盾，实验中常用反转实验解决这一问题。