余弦相似度

  相似度度量（Similarity），即计算个体间的相似程度，相似度度量的值越小，说明个体间相似度越小，相似度的值越大说明个体差异越大。

  对于多个不同的文本或者短文本对话消息要来计算他们之间的相似度如何，一个好的做法就是将这些文本中词语，映射到向量空间，形成文本中文字和向量数据的映射关系，通过计算几个或者多个不同的向量的差异的大小，来计算文本的相似度。下面介绍一个详细成熟的向量空间余弦相似度方法计算相似度。

一、向量空间余弦相似度

  余弦相似度用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小。余弦值越接近1，就表明夹角越接近0度，也就是两个向量越相似，这就叫"余弦相似性"。

向量a和向量b（n维）的夹角的余弦计算如下：

二、利用余弦相似度计算文本的相似度

句子A：这只皮靴号码大了。那只号码合适
句子B：这只皮靴号码不小，那只更合适

【分词】：

句子A：这只/皮靴/号码/大了。那只/号码/合适。
句子B：这只/皮靴/号码/不/小，那只/更/合适。

【列出所有的词】：

这只，皮靴，号码，大了。那只，合适，不，小，很

【计算词频】：

句子A：这只1，皮靴1，号码2，大了1。那只1，合适1，不0，小0，更0
句子B：这只1，皮靴1，号码1，大了0。那只1，合适1，不1，小1，更1

【写出词频向量】：

句子A：(1，1，2，1，1，1，0，0，0)
句子B：(1，1，1，0，1，1，1，1，1)

【计算余弦相似度】：

  由此，我们就得到了文本相似度计算的处理流程是:

1. 找出两篇文章的关键词；

2. 每篇文章各取出若干个关键词，合并成一个集合，计算每篇文章对于这个集合中的词的词频；

3. 生成两篇文章各自的词频向量；生成两篇文章各自的词频向量；

4. 计算两个向量的余弦相似度，值越大就表示越相似。计算两个向量的余弦相似度，值越大就表示越相似。

转自：http://blog.sina.com.cn/s/blog_4a6b27a30102vbr0.html