2019独角兽企业重金招聘Python工程师标准>>>
字符串相似度
http://www.cnblogs.com/tianchi/archive/2013/02/25/2886964.html
自己实现文本相似度算法(余弦定理)
http://my.oschina.net/BreathL/blog/42477
余弦相似度
计算公式为:
P(A,B) = sqrt(A × B) / (|A| × |B|)
设有两个字符串:
ABCDEFG
ABCHIJK
其中共有11个字符,为:
A B C D E F G H I J K
如果,不考虑他们之间的关联性以及顺序等隐私,那么可以讲这两个字符串转换成两个11维空间中的向量:
{1、1、1、1、1、1、1、0、0、0、0}
{1、1、1、0、0、0、0、1、1、1、1}
那,计算他们之间的相似度为:
P = sqrt(3) / (sqrt(7) × sqrt(7)) = 0.2474358297
矩阵相似度
给定两个长度相等的字符串,在移动的过程中比较:
a | b | c | d | d | a | c | b | c | b | ||
a | a | d | a | c | c | b | d | d | c |
首先有几个变量:
n:字符串的长度,此时为10;
m:相同的字符,此时为3,包括d、a、c;
r:两个字符串重叠部分,此时为8;
那么给出定义:
重叠率:L = r / n。
匹配率:M = m / n。
相似度:Q = M^2 × L = (m^2 / n^2) × (r / n)。
其实为什么这样定义也很好理解,将Q变形一下就可以得到:
Q = (m^2 / r^2) × (r / n)
前半部分表示了当前相同的比率,后半部分表示了重叠的比率,然后呢,废话就不多说了。其实,还有一个要考虑的地方,举个例子:
str1:abcabc
str2:abcdabc
str1和str2的相似度是很高的,但是,在移位错开的过程中根本没办法找到这种匹配。想想其实原因也是非常简单的:把所有的字符都死板地粘合在了一起!那么,我们要做的其实就是将他们打散来匹配。首先,根据字符串A和字符串B来构造矩阵R:
Ai和Bi+j相同时,Rij = 1;否则,Rij = 0。
那么,现在要做的事情就是,在矩阵R中寻找一条路径,使得这条路径上的1最多,这个问题和求两个字符串的最大匹配很像的DP问题,这里就不啰嗦了。
字符串编辑距离
还有一种衡量两个字符串之间的差异性的方法是,计算两个字符串转换时候需要的最少操作,需要的操作越少说明这两个字符串越相似。
假设字符串的操作只有三种:
插入一个字符;
删除一个字符;
替换一个字符;
两个字符串之间的编辑距离定义为:从字符串str1到str2的最少的操作次数。首先,编辑距离是不会大于str1.length + str2.length的。假设求字符A、B的编辑距离,考虑下面几种情况:
如果A[i] = B[j],那么这时候还需要操作吗?
这个时候的删除和替换操作只会让情况变得更坏,而且插入操作不会使情况变得更好,所以此时F(i, j) = F(i-1, j-1)。
如果A[i] != B[j],怎么办呢?
a、从F(i-1, j-1)变过来,这时候只需要把A[i]替换为B[j]即可;
b、从F(i-1, j)变过来,这时候只需要将A[i]删除即可;
c、从F(i, j-1)变过来,这时候只需要在A[i]后插入字符B[j]即可;
那么此时,F(i, j) = min{F(i-1,j-1),F(i-1,j),F(i,j-1)} + 1。
注:其中F(i, j)表示A[0..i]和B[0..j]之间的编辑距离。看完这种相似度想起了BFS的入门题目:《聪明的打字员》,囧。
------------
END。