威尔逊得分:排序算法之一

最近在研究用户对不同类型的视频喜好的排序,故用到了威尔逊得分进行排序,对这个方法做个笔记,加深印象和理解。威尔逊得分方法主要综合考虑总数量和喜欢类型的比例p,而不是单独情况考虑(如下):

      示例:喜剧视频在10次观看中,6次被喜欢,4次不被喜欢;运动类视频在1000次观看中,550次被喜欢,450次不被喜欢

      问题:喜剧类视频和运动类视频哪个更受欢迎?

第一种得分方法:得分 = 赞成票 - 反对票 ;很明显,方法一表示运动类视频更受欢迎

第二种得分方法:得分 = 赞成量/总量;很明显,方法二表示喜剧类视频更受欢迎

当样本总量都很大时,其实方法二比较正确,用相对量点赞率作为评分标准,但当总量很小时,比如2次观看中,2次都被喜欢,点赞率岂不是100%,但是因为总量太少不足以说明其可信度。

因此我们可以采用威尔逊置信区间法,有如下设定:

1.视频每次被观看都是独立事件;

2.视频的反馈只有两种:被喜欢和不被喜欢;

3.视频的观看总量为n,其中有k次被喜欢,喜欢的比例p等于k/n.

不难看出,这是一种统计分布,即二项分布:假设在n次独立的实验中,每次试验成功的概率为p,所有成功次数K就是服从参数n和p的二项随机变量。

一般而言,p越大,就代表这类视频的好评比例越高,越应该排在前面。但是,p的可信性,取决于有多少次观看总量,如果样本太小,p就不太可信。就好比一个实验只做一次成功了就说这个实验完美了,也许这次的成功是碰巧因素,我们需要不断地重复做这个实验检验其成功地可信度。我们知道p是二项分布中某个事件的发生概率,可以计算出p的置信区间。

【注意:在统计学中,一个概率样本的置信区间(Confidence interval)是对这个样本的某个总体参数的区间估计。置信区间展现的是这个参数的真实值有一定概率落在测量结果的周围的程度,其给出的是被测量参数的测量值的可信程度,即前面所要求的“一个概率。】

      举个例子:喜剧类视频的点赞率是60%,但是这个概率不可信,根据统计学,可以说有95%(这里是置信水平0.05)把握,其点赞率在55%到65%之间,则其置信区间就是[55%,65%]. 根据样本量对置信区间的影响,当置信水平(\alpha)固定的时候,样本量越大,置信区间越窄。(另外补充:当样本量不变时,置信水平越高,置信区间越大)。

置信区间和样本总量这一关系,就可以对概率p可信度进行修正,弥补样本量国过小和样本总量差异太大的影响。

       当样本总量很小时,说明概率p 不一定可信,需要进行修正,其置信区间比较宽,下限值会比较小;

       当样本量比较大时,说明比较可信,不需要较大的修正,其置信区间比较窄,下限值会比较大;

接下来,对不同类型的视频进行排名算法比较清晰了:

第一步:计算每类视频的点赞率;

第二步:计算每个点赞率的置信区间;

第三步:计算置信区间的下限值(wilson-s,进行排名。这个下限值越大,排名越高。

 

以下是置信区间上下限的界限:下限值最小为0,上限值最大为1

威尔逊得分:排序算法之一_第1张图片

1927年,美国数学家 Edwin Bidwell Wilson提出了一个修正公式,被称为"威尔逊区间",很好地解决了小样本的准确性问题。

 

威尔逊得分:排序算法之一_第2张图片

注意:公式中的在上面的公式中,\widehat{p}表示样本的"赞成票比例",n表示样本的大小,z_{1-\frac{\alpha }{2}}表示对应某个置信水平的z统计量,这是一个常数,可以通过查表或统计软件包得到。一般情况下,在95%的置信水平下,z统计量的值为1.96。

不难看出威尔逊置信区间的均值:(上限+下限)/2 :

威尔逊得分:排序算法之一_第3张图片

可以看到,当n的值足够大时,这个下限值会趋向\widehat{p}。如果n非常小,这个下限值会大大小于\widehat{p}。实际上,起到了降低"赞成票比例"的作用,使得该类视频的得分变小、排名下降。实际示例中也的确如此。

这种排序算法可以消除样本数量差异太大的影响,可以适用于寻找用户兴趣爱好排序问题,进一步进行个性化方向推荐。

你可能感兴趣的:(推荐算法,统计学知识)