《跨语言文本相似性检测》第一周—前期调研

《跨语言文本相似性检测》第一周—前期调研

文本相似度计算在信息检索、数据挖掘、机器翻译、文档复制检测等领域有着广泛的应用。

 

文本相似性流程

分词——>权重——>选择相应算法

 

 

文本相似性检测算法

（1）、余弦相似性

这个算法就是通过计算两个向量的夹角余弦值来评估他们的相似度。

对于二维空间，根据向量点积公式，显然可以得知

设向量 A = (A1,A2,...,An)，B = (B1,B2,...,Bn) 。推广到多维，数学家已经帮我们证明了，所以只要记住下面的公式：

余弦值越接近1，就表明夹角越接近0度，也就是两个向量越相似，这就叫"余弦相似性"。

（2）、简单共有词

  通过计算两篇文档共有的词的总字符数除以最长文档字符数来评估他们的相似度。

假设有A、B两句话，先取出这两句话的共同都有的词的字数然后看哪句话更长就除以哪句话的字数。

（3）、编辑距离

编辑距离（Edit Distance），又称Levenshtein距离，是指两个字串之间，由一个转成另一个所需的最少编辑操作次数。许可的编辑操作包括将一个字符替换成另一个字符，插入一个字符，删除一个字符。一般来说，编辑距离越小，两个串的相似度越大。

（4）、SimHash + 汉明距离

simhash是谷歌发明的算法，可以将一个文档转换成64位的字节，然后我们可以通过判断两个字节的汉明距离就知道是否相似了。其目的是降维。

汉明距离是以理查德·卫斯里·汉明的名字命名的。在信息论中，两个等长字符串之间的汉明距离是两个字符串对应位置的不同字符的个数。换句话说，它就是将一个字符串变换成另外一个字符串所需要替换的字符个数。例如：

1011101 与 1001001 之间的汉明距离是 2。

"toned" 与 "roses" 之间的汉明距离是 3。

首先我们来计算SimHash：

①分词，把需要判断文本分词形成这个文章的特征单词。最后形成去掉噪音词的单词序列并为每个词加上权重。提取文档特征词得到[word,weight]这个一个数组。（举例 [美国，4]）

② 用hash算法将word转为固定长度的二进制值的字符串[hash(word),weight]。（举例 [100101，4]），通过hash算法把每个词变成hash值

③ word的hash从左到右与权重相乘，如果为1则乘以1 ，如果是0则曾以-1。（举例4,-4,-4,4,-4,4）。

④ 接着计算下个数，直到将所有分词得出的词计算完，然后将每个词第三步得出的数组中的每一个值相加。（举例美国和51区，[4,-4,-4,4,-4,4]和[5 -5 5 -5 5 5]得到[9 -9 1 -1 1 9]）

⑤ 对第四步得到的数组中每一个值进行判断，如果＞0记为1，如果＜0记为0。（举例[101011]）

第四步得出的就是这个文档的SimHash。

这样我们就能将两个不同长度的文档转换为同样长度的SimHash值，因此，我们现在可以计算第一个文档的值和第二个文档的汉明距离（一般<3就是相似度高的）。

SimHash本质上是局部敏感性的hash（如果是两个相似的句子，那么只会有部分不同），和md5之类的不一样。 正因为它的局部敏感性，所以我们可以使用海明距离来衡量SimHash值的相似度。

如果想要小数形式的可以这么做：1 - 汉明距离 / 最长关键词数组长度。

优点：文本处理速率快，计算后的指纹能够存储于数据库，因此对海量文本相似判定非常适合。

缺点：由于短文本的用于哈希计算的数据源较少，因此短文本相似度识别率低。

（5）、Jaccard相似性系数

Jaccard 系数，又叫Jaccard相似性系数，用来比较样本集中的相似性和分散性的一个概率。Jaccard系数等于样本集交集与样本集合集的比值，即J = |A∩B| ÷ |A∪B|。

说白了就是交集除以并集，两个文档的共同都有的词除以两个文档所有的词。

（6）、欧几里得距离

欧几里得距离是用得非常广的公式，设A(x1, y1)，B(x2, y2)是平面上任意两点那么两点间的距离距离(A,B)=平方根((x1-x2...)^2+(y1-y2....)^2)

（7）、曼哈顿距离

曼哈顿距离（Manhattan Distance）用以标明两个点上在标准坐标系上的绝对轴距总和。

跟欧几里德距离有点像，简单来说就是d(i,j)=|x1-x2...|+|y1-y2...|，同理xn和yn分别代表两个文档所有的词（不重复）在A和B的词频。

然后可以通过1 ÷ (1 + 曼哈顿距离)得到相似度。

（8）、空间向量模型---基于空间向量的余弦算法

VSM（Vector Space Model）把对文本内容的处理简化为向量空间中的向量运算。

1）文档（D）：泛指文档或文档片段，一般表征一篇文档。

2）词汇（T）：文本内容特征的基本语言单位，包含字、词、词组或短语。

3）权重（W）：表征词汇T的权重，在文档D中的重要程度。

权重：

（1）、表征一个字词在一个文本集或者语料库中某篇文本中的重要程度的统计方法为TF-IDF(term frequency–inverse document frequency)。

（2）、以词频来表征该词汇在文本中的重要程度（即权重）。适用于文本集是变动的，而且变化速率比较快。

在向量空间模型的算法步骤：

预处理（中文分词和去停用词）→文本特征项选择→加权(计算权重)→生成向量空间模型后计算余弦（运用余弦距离）

在向量空间模型中，两个文本D1和D2之间的内容相关度Sim（D1，D2）常用向量之间夹角的余弦值表示，公式为：

其中，W1k、W2k分别表示文本D1和D2第K个特征项的权值，1<=k<=N。

改进算法

1．隐形语义引标

隐性语义标引（LSI）利用矩阵理论中的“奇异值分解（SVD）”技术，将词频矩阵转化为奇异矩阵：首先从全部的文档集中生成一个文档矩阵，该矩阵的每个分量为整数值，代表某个特定的文档矩阵出现在某个特定文档中次数。然后将该矩阵进行奇异值分解，较小的奇异值被剔除。结果奇异向量以及奇异值矩阵用于将文档向量和查询向量映射到一个子空间中，在该空间中，来自文档矩阵的语义关系被保留。最后，可以通过标准化的内积计算来计算向量之间的夹角余弦相似度，进而根据计算结果比较文本间的相似度。LSI引入的唯一变化就是剔除小的奇异值，因为与小的奇异值相关联的特征实际上在计算相似度时并不相关，将它们包括进来将降低相关性判断的精确度。保留下来的特征是那些对文档向量在m维空间中的位置大有影响的特征。剔除小的奇异值将文档特征空间变为文档概念空间。概念向量之问使用内积的夹角余弦相似度计算比原来基于原文本向量的相似度计算更可靠，这也是使用LSI方法的主要原因所在。LSI的缺点在于它的效果依赖于上下文信息，过于稀疏的语料不能很好的体现其潜在的语义。

2．基于语义相似度的文本相似度算法

用向量空间模型（VSM）来表示文本在该领域内普遍受到认可，是因为其在知识表示方法上的巨大优势。在该模型中，文本内容被形式化为多维空间中的一个点，通过向量的形式给出，把对文本内容的处理简化为向量空间中向量的运算，使问题的复杂性大为降低。但是它很大的不足之处在于只考虑了词在上下文中的统计特性，假定关键词之间线性无关，而没有考虑词本身的语义信息，因此具有一定的局限性。

3．基于拼音相似度的汉语模糊搜索算法

不同于传统的以关键词匹配为核心的匹配技术，这里提出基于拼音相似度的编辑距离来衡量汉字字符串之间的相似度。

论文提出三种编辑距离：基于汉字的编辑距离、基于拼音的编辑距离，以及基于拼音改良的编辑距离。

4．最长公共子序列

（1）将两个字符串分别以行和列组成矩阵。

（2）计算每个节点行列字符是否相同，如相同则为1。

（3）通过找出值为1的最长对角线即可得到最长公共子串。

为进一步提升该算法，我们可以将字符相同节点的值加上左上角（d[i-1，j-1]）的值，这样即可获得最大公共子串的长度。如此一来只需以行号和最大值为条件即可截取最大子串。

总结

衡量文本相似度的几种算法：

（1）最长公共子串（基于词条空间）

（2）最长公共子序列（基于权值空间、词条空间）

（3）最小编辑距离法（基于词条空间）

（4）汉明距离（基于权值空间）

（5）余弦值（基于权值空间）

 优点：计算结果准确，适合对短文本进行处理。

 缺点：需要逐个进行向量化，并进行余弦计算，比较消耗CPU处理时间，因此不适合长文本，如网页正文、文档等。

传统比较两个文本相似性的方法，大多是将文本分词之后，转化为特征向量距离的度量，比如常见的欧氏距离、汉明距离或者余弦角度等等。两两比较固然能很好地适应，但这种方法的一个最大的缺点就是，无法将其扩展到海量数据。

词语的统计方法---- k-shingle算法（常用）

k是一个变量，表示提取文本中的k个字符，这个k可以自己定义。简单的说，该算法就是从头挨个扫描文本，然后依次把k个字符保存起来，比如有个文本，内容是abcdefg,k设为2，那得到的词语就是ab,bc,cd,de,ef,fg。

中文分词技术

现有的分词算法可分为三大类：基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法。

字符串匹配的分词方法

这是种常用的分词法，百度就是用此类分词。字符串匹配的分词方法，又分为3种分词方法。

（1）正向最大匹配法

把一个词从左至右来分词。

假定分词词典中的最长词有i个汉字字符，则用被处理文档的当前字串中的前i个字作为匹配字段，查找字典。若字典中存在这样的一个i字词，则匹配成功，匹配字段被作为一个词切分出来。如果词典中找不到这样的一个i字词，则匹配失败，将匹配字段中的最后一个字去掉，对剩下的字串重新进行匹配处理……  如此进行下去，直到匹配成功，即切分出一个词或剩余字串的长度为零为止。这样就完成了一轮匹配，然后取下一个i字字串进行匹配处理，直到文档被扫描完为止。

（2）反向最大匹配法

反向最大匹配法就是从右至左。ＲＭＭ法的基本原理与ＭＭ法相同 ,不同的是分词切分的方向与MM法相反，而且使用的分词辞典也不同。逆向最大匹配法从被处理文档的末端开始匹配扫描，每次取最末端的2i个字符（i字字串）作为匹配字段，若匹配失败，则去掉匹配字段最前面的一个字，继续匹配。相应地，它使用的分词词典是逆序词典，其中的每个词条都将按逆序方式存放。在实际处理时，先将文档进行倒排处理，生成逆序文档。然后，根据逆序词典，对逆序文档用正向最大匹配法处理即可。

由于汉语中偏正结构较多，若从后向前匹配，可以适当提高精确度。所以，逆向最大匹配法比正向最大匹配法的误差要小。

缺点：最大匹配算法是一种基于分词词典的机械分词法，不能根据文档上下文的语义特征来切分词语，对词典的依赖性较大，所以在实际使用时，难免会造成一些分词错误，为了提高系统分词的准确度，可以采用正向最大匹配法和逆向最大匹配法相结合的分词方案。

（3）最少切分法：使每一句中切出的词数最小。

（4）双向匹配法：将正向最大匹配法与逆向最大匹配法组合。先根据标点对文档进行粗切分，把文档分解成若干个句子，然后再对这些句子用正向最大匹配法和逆向最大匹配法进行扫描切分。如果两种分词方法得到的匹配结果相同，则认为分词正确，否则，按最小集处理。

基于词的频度统计的分词方法

这是一种全切分方法。它不依靠词典,而是将文章中任意两个字同时出现的频率进行统计,次数越高的就可能是一个词。它首先切分出与词表匹配的所有可能的词,运用统计语言模型和决策算法决定最优的切分结果。它的优点在于可以发现所有的切分歧义并且容易将新词提取出来。

基于知识理解的分词方法

该方法主要基于句法、语法分析，并结合语义分析，通过对上下文内容所提供信息的分析对词进行定界，它通常包括三个部分：分词子系统、句法语义子系统、总控部分。在总控部分的协调下，分词子系统可以获得有关词、句子等的句法和语义信息来对分词歧义进行判断。这类方法试图让机器具有人类的理解能力，需要使用大量的语言知识和信息。由于汉语语言知识的笼统、复杂性，难以将各种语言信息组织成机器可直接读取的形式。因此目前基于知识的分词系统还处在试验阶段。

一种新的分词方法：并行分词方法

这种分词方法借助于一个含有分词词库的管道进行 ,比较匹配过程是分步进行的 ,每一步可以对进入管道中的词同时与词库中相应的词进行比较 ,由于同时有多个词进行比较匹配 ,因而分词速度可以大幅度提高。这种方法涉及到多级内码理论和管道的词典数据结构。

分词器

mmseg4j、盘古分词、Jcseg、friso、Paoding、IK、word分词、智呈分词、MFSOU中文分词PHP扩展、SCWS、FudanNLP、ICTCLAS、HTTPCWS、CC-CEDICT

计算权重

比较常用的有文档频率，反文档频率TF*IDF，卡方检验，互信息，信息增益。

TF-IDF

词频-逆文档频率（term frequency-inverse document frequency,TF-IDF) 的概念被公认为信息检索中最重要的发明。在搜索、文献分类和其他相关领域有广泛的应用。

权重的设定必须满足下面两个条件：

（1）一个词预测主题能力越强，权重就越大，反之，权重就越小。

（2）应删除词（如的等停顿词）的权重应该是零。

如果一个关键词只在很少的文档中出现，我们通过它就容易锁定搜索目标，它的权重也就应该大。反之如果一个词在大量文档中出现，我们看到它仍然不很清楚要找什么内容，因此它应该小。概括地讲，假定一个关键词t在Dt个文档中出现过，那么Dt越大，t的权重越小，反之亦然。在信息检索中，使用最多的权重是逆文档频率(Inversedocument frequency 缩写为IDF)，它的公式为IDF=log(D/Dt) 其中Ｄ是全部文档数。

TF-IDF权重计算

对于每篇文档中的每个词（一般是指关键字及特征向量），可以将其TF和IDF组合在一起形成每个词最终的权重，计算公式如下TF-IDF=TF*IDF

TF-IDF按照如下的方式对文档d中的词项t赋予权重：

（1）当t只在少数几篇文档中多次出现时，权重取值最大（此时能够对这些文档提供最强的区分能力）；

（2）当t在一篇文档中出现次数很少，或者在很多文档中出现，权重取值次之（此时对最后的相关度计算作用不大）；

（3）如果t在所有文档中都出现，那么权重取值最小。