Mahout--（三）相似性度量
1. 基于皮尔森相关性的相似度 —— Pearson correlation-based similarity
皮尔森相关系数反应了两个变量之间的线性相关程度，它的取值在[-1, 1]之间。当两个变量的线性关系增强时，相关系数趋于1或-1；当一个变量增大，另一个变量也增大时，表明它们之间是正相关的，相关系数大于0；如果一个变量增大，另一个变量却减小，表明它们之间是负相关的，相关系数小于0；如果相关系数等于0，表明它们之间不存在线性相关关系。
用数学公式表示，皮尔森相关系数等于两个变量的协方差除于两个变量的标准差。
 |
协方差（Covariance）：在概率论和统计学中用于衡量两个变量的总体误差。如果两个变量的变化趋于一致，也就是说如果其中一个大于自身的期望值，另一个也大于自身的期望值，那么两个变量之间的协方差就是正值；如果两个变量的变化趋势相反，则协方差为负值。
 |
其中u表示X的期望E(X), v表示Y的期望E(Y)
标准差（Standard Deviation）：标准差是方差的平方根
 |
方差(Variance)：在概率论和统计学中，一个随机变量的方差表述的是它的离散程度，也就是该变量与期望值的距离。
 |
即方差等于误差的平方和的期望
基于皮尔森相关系数的相似度有两个缺点：
(1) 没有考虑（take into account）用户间重叠的评分项数量对相似度的影响；
(2) 如果两个用户之间只有一个共同的评分项，相似度也不能被计算
 |
上表中，行表示用户（1～5）对项目（101～103）的一些评分值。直观来看，User1和User5用3个共同的评分项，并且给出的评分走差也不大，按理他们之间的相似度应该比User1和User4之间的相似度要高，可是User1和User4有一个更高的相似度1。
同样的场景在现实生活中也经常发生，比如两个用户共同观看了200部电影，虽然不一定给出相同或完全相近的评分，他们之间的相似度也应该比另一位只观看了2部相同电影的相似度高吧！但事实并不如此，如果对这两部电影，两个用户给出的相似度相同或很相近，通过皮尔森相关性计算出的相似度会明显大于观看了相同的200部电影的用户之间的相似度。
Mahout对基于皮尔森相关系数的相似度给出了实现，它依赖一个DataModel作为输入。
同时，Mahout还针对缺点(1)进行了优化，只需要在构造PearsonCorrelationSimilarity时多传入一个Weighting.WEIGHTED参数，就能使有更多相同评分项目的用户之间的相似度更趋近于1或-1。
UserSimilarity similarity1 = new PearsonCorrelationSimilarity(model);
double value1 = similarity1.userSimilarity(1, 5);
UserSimilarity similarity2 = new PearsonCorrelationSimilarity(model, Weighting.WEIGHTED);
double value2 = similarity2.userSimilarity(1, 5);
结果：
Similarity of User1 and User5: 0.944911182523068
Similarity of User1 and User5 with weighting: 0.9655694890769175
2. 基于欧几里德距离的相似度 —— Euclidean Distance-based Similarity
欧几里德距离计算相似度是所有相似度计算里面最简单、最易理解的方法。它以经过人们一致评价的物品为坐标轴，然后将参与评价的人绘制到坐标系上，并计算他们彼此之间的直线距离。
图中用户A和用户B分别对项目X、Y进行了评分。用户A对项目X的评分为2，对项目Y的评分为4，表示到坐标系中为坐标点A(1.8, 4)；同样用户B对项目X、Y的评分表示为坐标点B(4.5, 2.5)，因此他们之间的欧几里德距离（直线距离）为：sqrt((B.x - A.x)^2 + (A.y - B.y)^2)
 |
计算出来的欧几里德距离是一个大于0的数，为了使其更能体现用户之间的相似度，可以把它规约到(0, 1]之间，具体做法为：1 / (1 + d)。参见Table2
 |
只要至少有一个共同评分项，就能用欧几里德距离计算相似度；如果没有共同评分项，那么欧几里德距离也就失去了作用。其实照常理理解，如果没有共同评分项，那么意味着这两个用户或物品根本不相似。
3. 余弦相似度 —— Cosine Similarity
余弦相似度用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小。相比距离度量，余弦相似度更加注重两个向量在方向上的差异，而非距离或长度上。
 |
与欧几里德距离类似，基于余弦相似度的计算方法也是把用户的喜好作为n-维坐标系中的一个点，通过连接这个点与坐标系的原点构成一条直线（向量），两个用户之间的相似度值就是两条直线（向量）间夹角的余弦值。因为连接代表用户评分的点与原点的直线都会相交于原点，夹角越小代表两个用户越相似，夹角越大代表两个用户的相似度越小。同时在三角系数中，角的余弦值是在[-1, 1]之间的，0度角的余弦值是1，180角的余弦值是-1。
借助三维坐标系来看下欧氏距离和余弦相似度的区别：
 |
从图上可以看出距离度量衡量的是空间各点间的绝对距离，跟各个点所在的位置坐标（即个体特征维度的数值）直接相关；而余弦相似度衡量的是空间向量的夹角，更加的是体现在方向上的差异，而不是位置。如果保持A点的位置不变，B点朝原方向远离坐标轴原点，那么这个时候余弦相似度cosθ是保持不变的，因为夹角不变，而A、B两点的距离显然在发生改变，这就是欧氏距离和余弦相似度的不同之处。
根据欧氏距离和余弦相似度各自的计算方式和衡量特征，分别适用于不同的数据分析模型：欧氏距离能够体现个体数值特征的绝对差异，所以更多的用于需要从维度的数值大小中体现差异的分析，如使用用户行为指标分析用户价值的相似度或差异；而余弦相似度更多的是从方向上区分差异，而对绝对的数值不敏感，更多的用于使用用户对内容评分来区分用户兴趣的相似度和差异，同时修正了用户间可能存在的度量标准不统一的问题（因为余弦相似度对绝对数值不敏感）。
Mahout没有专门给出基于余弦相似度的实现。
4. 调整余弦相似度 —— Adjusted Cosine Similarity
在余弦相似度的介绍中说到：余弦相似度更多的是从方向上区分差异，而对绝对的数值不敏感。因此没法衡量每个维数值的差异，会导致这样一个情况：比如用户对内容评分，5分制，X和Y两个用户对两个内容的评分分别为(1,2)和(4,5)，使用余弦相似度得出的结果是0.98，两者极为相似，但从评分上看X似乎不喜欢这2个内容，而Y比较喜欢，余弦相似度对数值的不敏感导致了结果的误差，需要修正这种不合理性，就出现了调整余弦相似度，即所有维度上的数值都减去一个均值，比如X和Y的评分均值都是3，那么调整后为(-2,-1)和(1,2)，再用余弦相似度计算，得到-0.8，相似度为负值并且差异不小，但显然更加符合现实。
5. 斯皮尔曼相关 —— Spearman Correlation
斯皮尔曼相关性可以理解为是排列后（Rank）用户喜好值之间的Pearson相关度。《Mahout in Action》中有这样的解释：假设对于每个用户，我们找到他最不喜欢的物品，重写他的评分值为“1”；然后找到下一个最不喜欢的物品，重写评分值为“2”，以此类推。然后我们对这些转换后的值求Pearson相关系数，这就是Spearman相关系数。
斯皮尔曼相关度的计算舍弃了一些重要信息，即真实的评分值。但它保留了用户喜好值的本质特性——排序（ordering），它是建立在排序（或等级，Rank）的基础上计算的。
回顾前面表中User1～5对Item101～103的喜好（评分）值，通过斯皮尔曼相关系数计算出的相似度为：
 |
我们发现，计算出来的相似度值要么是1，要么是-1， 因为这依赖于用户的喜好值和User1的喜好值是否趋于“一致变化”还是呈“相反趋势变化" 。
Mahout对斯皮尔曼相关系数给出了实现，具体可参考SpearmanCorrelationSimilarity，它的执行效率不是非常高，因为斯皮尔曼相关性的计算需要花时间计算并存储喜好值的一个排序（Ranks），具体时间取决于数据的数量级大小。正因为这样，斯皮尔曼相关系数一般用于学术研究或者是小规模的计算。
UserSimilarity similarity1 = new SpearmanCorrelationSimilarity(model); // construct a Spearman Correlation-based Similarity
User1 to User1 : 1.0
User2 to User1 : -1.0
User3 to User1 : NaN
User4 to User1 : 1.0
User4 to User1 : 1.0
考虑到Spearman Correlation的效率，可以把SpearmanCorrelationSimilarity包装一层Cache，具体做法为：
UserSimilarity similarity2 = new CachingUserSimilarity(new SpearmanCorrelationSimilarity(model), model);
这样，每次计算的结果会直接放入Cache，下一次计算的时候可以立即得到结果，而不是重新再计算一次。
6. 基于谷本系数的相似性度量 —— Tanimoto Coefficient-based Similarity
Tanimoto Coefficient和前面的5中相关度计算方式有很大的不同，它不关心用户对物品的具体评分值是多少，它在关心用户与物品之间是否存在关联关系。还记得上一篇文章《Mahout学习笔记——数据承载》里面提到的布尔喜好值（Boolean Preference）吧！Tanimoto Coefficient依赖于用户和物品之间的这种Boolean关系作为输入。
更准确的说法为：Tanimoto Coefficient主要用于计算符号度量或布尔值度量的个体间的相似度，因为个体的特征属性都是由符号度量或者布尔值标识，因此无法衡量差异具体值的大小，只能获得“是否相同”这个结果，所以Tanimoto Coefficient只关心个体间共同具有的特征是否一致这个问题。Tanimoto Coefficient又被叫做Jaccard Coefficient，其值等于两个用户共同关联（不管喜欢还是不喜欢）的物品数量除于两个用户分别关联的所有物品数量。
 |
也就是关联的交集除于关联的并集，用公式表示为：
其值介于[0, 1]之间，如果两个用户关联的物品完全相同，交集等于并集，值为1；如果没有任何关联，交集为空，值为0。
注：本块中提及的关联指用户对物品有评分值
提问1：怎么判断选择哪种相似性作为度量合适呢？能不能举个例子？
回答：
需要结合你的数据进行评估，看看哪种相似性度量方式最适合你的数据集。常用的方法就是把数据集分成两份，一份作为训练数据，一份作为测试数据，然后在训练数据上使用本文中讲到的相似性度量方式分别计算结果，去和实际的测试数据进行比较，看效果来决定选择哪一种。
这其实用到了机器学习里面的监督学习。举个例子：某个书评网站正在开发一个推荐系统，而你是一个读书爱好者，并且是这个书评网站的忠实用户，你在该网站上对很多书进行了点评和打分（1～5分）。假设这个时候该网站已经基于上文中提到的各种相似度计算方法实现了多种推荐算法，正在评测哪一种相似度计算方法对他们来说最优？那么我上面回复中提到的“判断哪种相似性度量方法更合适”的方法具体一点（细化到个人）就是把你打分的所有书都拿出来，假设你一共对 10 本书进行了打分，那么就把这 10 本书中的 9 本拿出来（作为训练数据），留下一本名叫B_Test（作为测试数据）。然后根据你对这 9 本书的打分，去预测你会对 B_Test 打多少分，并把这个预测的分值和你对 B_Test 的真实打分进行比较，误差（比如 RMSE）越小就表示该种相似度计算方法对你的数据集来说更优！
监督学习的介绍：http://zh.wikipedia.org/wiki/%E7%9B%91%E7%9D%A3%E5%AD%A6%E4%B9%A0
提问2：
有一个问题困扰已久，mahout在计算偏爱度时公式为Prediction(u,i) = sum(all n from N: similarity(i,n) * rating(u,n)) / sum(all n from N: abs(similarity(i,n)))，为什么要有这个分母呢？这样岂不是颠倒了相似度大与相似度小的items的偏爱值么？
回答：
（Mahout 中）协同过滤是根据用户之间或物品之间的相似性去预测用户对物品的喜好程度。拿你举例的这个公式来说，Prediction(u,i) = sum(all n from N: similarity(i,n) * rating(u,n)) / sum(all n from N: abs(similarity(i,n)))，要预测用户 u 对物品 i 的喜好程度，那么我们就先遍历用户 u 已经评分的物品集合 N，计算 N 中每一个物品 n 与物品 i 的相似度，基于这个相似度（某一个物品 n 与物品 i 的相似度）我们就可以简单预测用户 u 对物品 i 的评分为 similarity(i,n) * rating(u,n)，因为这样的 n 有很多过，这些个 n 都会影响用户 u 对物品 i 的打分，所以我们就需要进行加权处理，在这里我们可以把 similarity(i,n) 看成是权重。加权之后我们就得到了分子，很显然如果把分子直接作为预测的分值，这个值会很大（i 和 n 呈正相关相似）或很小（i 和 n 呈负相关相似），所以我们需要进行归一化处理。比如：如果每一个 rating(u,n) 都在 0～5 之间波动，那么预测的 Prediction(u,i) 也应该在 0～5之间，这就是为什么要除于 sum(all n from N: abs(similarity(i,n))) 这个分母的原因。
来源网站：http://www.douban.com/note/208193209/
http://www.douban.com/people/hebotao/notes?start=0&type=note