对贝叶斯平滑的理解

对贝叶斯平滑的理解

假设现在要对每个广告求历史ctr(求贝叶斯平滑后的值)。

贝叶斯平滑就是对广告的CTR进行贝叶斯估计（最小化损失函数在后验分布上的期望）。

• N个广告，其点击信息和曝光信息分别是$(C_1,C_2,...,C_i,...,C_N),(I_1,I_2,...,I_i,...,I_N)$。

• 每个广告都有一个隐含的CTR值$(r_1,r_2,...,r_i,...,r_N)$。这些隐含的CTR值服从$Beta(\alpha ,\beta )$【先验】。

• 每个广告的点击信息都是服从二项分布$Binomial(I_i,r_i)$【似然】。

• 二项分布和Beta分布是共轭的，所以广告CTR的后验分布也是Beta分布，记为$Beta({\alpha }^{{}^{\prime }},{\beta }^{{}^{\prime }})$。

• 当使用平方损失函数$L(\widehat{r_i},r_i)=(\widehat{r_i}-r_i{)}^2$时，贝叶斯估计值就是后验分布的期望值。所以可以求出第$i$个广告的ctr的贝叶斯估计值为$\widehat{r_i}=\frac{C_i+\alpha }{I_i+\alpha +\beta }$。这就是贝叶斯平滑后的值。

• 也就是说，将先验分布中的参数$\alpha ,\beta$求出来，就得到了贝叶斯平滑中的平滑因子。

• 可以使用矩估计法来求参数$\alpha 、\beta$，

  • Beta分布的期望：$E(X)=\frac{\alpha }{\alpha +\beta }$；用样本均值$\overline{X}$来代替期望

  • Beta分布的方差：$D(X)=\frac{\alpha \beta }{(\alpha +\beta {)}^2+(\alpha +\beta +1)}$；用样本方差$S^2$来近似代替方差

  • 可以求得：$\alpha =\overline{X}\left(\frac{\overline{X}(1-\overline{X})}{S^2}-1\right)$

    ​ $\beta =(1-\overline{X})\left(\frac{\overline{X}(1-\overline{X})}{S^2}-1\right)$