推荐系统中的偏差

推荐系统中的偏差

预估问题 我们一般会注重两种误差，偏差和方差，
方差与模型泛化能力有关：通常关注模型的复杂度与是否过拟合；偏差则表现为与真实模型的预估差距的差异，与以即模型的拟合能力有关。
一般来说，简单的模型会有一个较大的偏差和较小的方差，复杂的模型偏差较小方差较大。
除模型的复杂度外，训练数据是否与真实数据分布的差异大小这一点也必须考虑。
我们来看一下数据问题造成的偏差：曝光偏差、选择偏差
数据的真实分布，推荐系统线上预估面临的是真实的分布，模型训练时采用观测到的样本，本身就包括了选择偏差、曝光偏差。这种偏差是系统性的，具备危害。
解决这些偏差有一些方法，在这里写我了解到的3种，IPW （逆概率加权）、DICE(区分兴趣和偏差建模)、因果推断（根据因果关系，使用do算子建模）

IPW ——逆概率加权

因为选择偏差偏差，训练的数据分布 和真实分布存在差异。方法：根据曝光量和曝光量逆向调整权重，简单粗暴，符合逻辑，训练起来不好收敛。

DICE ——区分兴趣和偏差建模

这个方法挺不错的，是一个框架类的去偏方法，将偏差和用户兴趣分开建模，难点是，用户真正兴趣的训练集要怎么构建的问题。

用户兴趣的训练集，O2 的负样本要比正样本流行性更高 才行，可用点击数/曝光数或者一个热度分来代替。模型选用pair-wise 模型更好一些。
问题是O2 的构建是有难度的，而且数据量会比较少，

因果推断

DICE或者说是causal embedding 建模的方式 是真的合理的吗？不一定，流行度在系统中一定是不好的吗？ 流行度会影响物品的曝光，从而带来偏差，但是人们也是需要看到高流行度的物品的，我们要去除的是流行度因为影响到了曝光而带来的偏差。因果图能帮助我们来进行建模，参考PDA 这篇文章

这张图看过一点因果推断的人肯定不陌生。c图中间的x 符号是什么，这代表一种干预，干预之后的概率，这其实很令人困惑，你说干预就能干预吗？
我们先来从概念上了解一下因果推断是什么？ 因果推断是想通过控制造成估计偏差的变量，计算干预一个变量对结果的影响。
在图中，即是 通过控制z 来计算U，I 对C 的影响？ 怎么控制？？控制反应在数学公式中是什么？
控制即如果固定z，那么任何I变动的影响对c 的变化就是I 对C的因果效应，反应在数学公式里面我要预估，控制z之后的概率，P(C｜u,do(I)) ，传统的预估的是P(c|u,I) 没有割断z，I 之间的连接，因此预估的内容就有了变化


其实我们来看 ,原始的是把流行性 作为两部分影响了P(c|u,i), 而因果推断的do 算子，只预估了两项。理论上看消除了p(I|z) 。
这里我认为只是推导的不同，更重要的是原始P(c|u,i） 没有显示对z 建模，导致这是一个混杂因子。而PDA 通过以下方式对z 做了显示建模：然后利用do算子 就可以计算P(c|do(u,i))

其实我认为这里不一定是完全对的，控制z, 在模型的训练过程中并没有体现。或者没有显示体现，比如z 学历是性别到录取结果的混杂因子，我们计算性别到录取结果的因果关系的时候是要p(录取｜女，高学历）-p(录取｜男，高学历） ，这样看来模型并没有显示的表现这一点。（留一个疑问在此，欢迎大佬们给我建议，感谢）
参考文章：
1、 Causal Intervention for Leveraging Popularity Bias in Recommendation
2、 Disentangling User Interest and Conformity for Recommendation with Causal Embedding
3、Learning to Rank with Selection Bias in Personal Search