夹角余弦or相关系数？（nlp/word2vec之重大发现）

基础知识：看我的这篇文章向量相关分析基础公式

---

        最近在做nlp方面的工作，计算文字、句子或文章间的相似度，首先要做的是将文字转为向量，用到的方法有:直接法(如vsm)和网络训练法(如word2vec)，然后就是计算向量间的相似度，可以通过空间距离、向量夹角和相关性等方法来度量。现在，想用word2vec词向量来计算两个句子相似度，想法是：句子分词，分词后的词向量相加作为句子的语义向量，然后将两个句子的语义向量进行相似度计算。（词向量直接相加作为语义会有些问题的，后面再介绍）

相似度一：夹角余弦

计算两个向量的相似度，首先想到的是计算两个向量A,B的夹角余弦。

因为，夹角为两个向量在空间上的角度，以直线为例：夹角为0~180，cos为1~-1；两个向量同方向cos=1，向量垂直cos=0，向量反方向cos=-1。

所以，可以通过计算两个向量的cos来作为其相似度，越相似cos越接近1,越不相似cos越接近-1

夹角公式：cos = / (|A|*|B|)，其中<>代表内积公式

A=[1，2，3，4]为四维空间的点，也可以说是四维空间上原点到该点构成的向量。

相似度二：相关系数

另一个反映两个向量相似的统计量是相关系数R方，相关系数能够反映两个向量波动过程是否一致。R方为-1~1,越接近1表示两个向量波动一致，越接近-1表示两个向量波动总是相反，从这个角度来看也能反映两个向量相似情况。

相关系数：R方 = cov(A,B)/(√v_A*√v_B)，其中cov计算A,B协方差，v_A、v_B为方差,√开根号

存在如下现象：（举例）

如A=[1，2，3，4]，B=[2，3，4，5]

相关系数=1，夹角cos=0.994

A,B单位化如下：相关系数和夹角都不变，模=1

他们相关系数=1，夹角cos=0.994，模=1

A,B标准化如下：相关系数不变，夹角会变，且cos=R方，模为常数=√(向量长度)

他们相关系数=1，夹角cos=1，模=2

A,B先单位化再标准化：和直接标准化一样

相关系数=1，夹角cos=1，模=2

A,B先标准化再单位化：实际上在标准化的基础上/√(向量长度)，因为模==√(向量长度)

相关系数=1，夹角cos=1，模=1

一点结论：两个向量单位化，R方不变，夹角不变，cos=内积dot(A,B)；两个向量标准化，R方不变，夹角会变，此时cos==R方==dot()/向量长度，模相等为常数=向量长度的开方。

---

好了，现在分析在句子语义上用哪一个计算相似度比较好

在word2vec中对每个词向量的都进行了单位化（正则化），即每个向量的平方和都为1，但这样会出现一个现象：训练过程中，经常出现的词，它的词向量经常得到修正，造成向量波动较大，进化比较完全，最后的方差会比较大，识别度更高。可以验证，训练后的‘我’字方差比‘熵’字方差大很多，说明‘我’字语义更明确。在文本处理上，一般词频越少的词出现了，说明其重要性更强，更可能是关键词（TF-IDF算法也是基于此），也可以理解出现少的词信息熵更大，然而，Word2vec词向量的训练上，并不能体现词的重要性特征。

这样，如果用词向量累加作为一个句子向量来代表语义可能会存在一些问题：如‘我的熵’分词后为‘我’、‘的’、‘熵’，其中‘熵’词向量训练时进化较少，其方差较小，造成特征不明显，‘我的熵’与‘我的汤’夹角cos会接近1，但明显‘熵’和‘汤’才是这两句的关键语义词，而且语义相差甚远；再如，‘我熵’和‘的熵’，由于‘我’和‘的’向量cos较小约为0.1，造成‘我熵’和‘的熵’cos约为0.11。

因此，为了使得不同频率词训练后的特征都比较明显（方差可以作为词向量语义权重的一个特征），可以对词向量进行方差归一化，使得每个词向量的波动都到一个量级上，而此时两个向量的波动的方向性是否一致可以作为评判向量相似的准则，即用相关系数可能会更好一些。

验证：

例1：‘我熵’ 和 ‘的熵’，语义向量相似度计算，(这里事先用word2vec训练好了字向量模型model)

没标准化：A = model[‘我’]+model[‘熵’] ；B =model[‘的’]+modle[‘熵’]；

==> cos(A,B) = 0.11407632486

标准化：A = zs(model[‘我’])+zs(model[‘熵’]) ；B =zs(model[‘的’])+zs(modle[‘熵’])；这里zs代表向量标准化

==> R方 = cos(A,B) = 0.494148224949

由此，能得到一个结论是：标准化后，‘我’ 和 ‘熵’ 的特征重要程度变得差不多，去除了单位化后直接相加造成权重偏向一边的问题。这里有效的利用了word2vec词向量的便捷性，有很好的解决了其中用于计算句子间相似度存在的问题。

例2：‘我熵’，在model中查找与（‘我’+‘熵’）最相近的字

没标准化：V = model[‘我’]+model[‘熵’]

标准化：V = zs(model[‘我’])+zs(model[‘熵’])

可以看到，不经过标准化，‘我熵’与‘熵’之间几乎不相关；而经过标准化后，‘我’和‘熵’与‘我熵’的相关性同等重要。

其他探讨：

也可以采用，提炼关键词的方式，然后增加其权重，再进行向量加权和的方法来提高句子语义相似度计算，类似于深度学习中attention机制。

好了，就写到这，以后想到了再继续完善，也希望大家得到更多思考。

ps ： 个人原创，盗版必究，谢谢。