余弦相似度

在机器学习算法中，有各种方式衡量用户或者物品的距离或者相似度，如曼哈顿距离、欧几里得距离、Pearson相关系数、Jaccard系数等（可参考http://blog.csdn.net/lin00jian/article/details/51209715），我们这里主要详细介绍一下余弦相似度。余弦相似度被广泛用于协同过滤算法中，尤其是Item-base的协同过滤。

1、余弦相似度

余弦相似度衡量的是2个向量间的夹角大小，通过夹角的余弦值表示结果，因此2个向量的余弦相似度为：

$$\cos \theta =\frac{A\cdot B}{||A||\ast ||B||}(1)$$
分子为向量A与向量B的点乘，分母为二者各自的L2相乘，即将所有维度值的平方相加后开方。
余弦相似度的取值为[-1,1]，值越大表示越相似。

2、理论推导

我们以二维向量为例，计算向量$(x_1,y_1)$与向量$(x_2,y_2)$的余弦相似度。
先回顾一下初中的知识，一个三角形三条边的长度关系为：
$$c^2=a^2+b^2-2ab\cos \theta (2)$$
其中：
$$\begin{array}{rl}{a}^2& =x_1^2+y_1^2\\ b^2& =x_2^2+y_2^2\\ c^2& =(x_1-x_2{)}^2+(y_1-y_2{)}^2\end{array}(3)$$
于是，我们可以得到：
$$\begin{array}{rl}\cos \theta & =\frac{a^2+b^2-c^2}{2ab}\\ & =\frac{2(x_1{x}_2+y_1{y}_2)}{2\sqrt{x_1^2+y_1^2}\sqrt{x_2^2+y_2^2}}\\ & =\frac{A\cdot B}{||A||\ast ||B||}(4)\end{array}$$
其中A与B表达向量$(x_1,y_1)$与向量$(x_2,y_2)$。
分子为A与B的点乘，分母为二者各自的L2相乘，即将所有维度值的平方相加后开方。

3、一些特征情况分析

（1）夹角为0度
此时向量A与向量B应该是最相似的，余弦相似度应该为1。按照公式(4)，我们计算很容易计算出来$\cos \theta =1$。

（2）夹角为90度
此时余弦相似度为0。

（3）夹角为180度
此时余弦相似度为-1，2个向量的方向完全相反。