Jaccard和Levenshtein

目录

Jaccard相似度

Levenshtein距离

---

Jaccard相似度

1、jaccard index又称为jaccard similarity coefficient用于比较有限样本集之间的相似性和差异性

定义：

给定两个集合A,B jaccard 系数定义为A与B交集的大小与并集大小的比值，jaccard值越大说明相似度越高

Levenshtein距离

拿idf还得自己去算权重，而且不一定准确度高，一般做idf还得做词性归一化，把动词形容词什么全部转成名词，很麻烦。

Levenshtein.distance(str1,str2)

计算编辑距离（也称Levenshtein距离）。是描述由一个字串转化成另一个字串最少的操作次数，在其中的操作包括插入、删除、替换。如

例如将eeba转变成abac：

①　eba（删除第一个e）

②　aba（将剩下的e替换成a）

③　abac（在末尾插入c）

所以eeba和abac的编辑距离就是3

计算莱文斯坦比。计算公式  r = (sum - ldist) / sum, 其中sum是指str1 和 str2 字串的长度总和，ldist是类编辑距离

注意：这里的类编辑距离不是2中所说的编辑距离，2中三种操作中每个操作+1，而在此处，删除、插入依然+1，但是替换+2

这样设计的目的：ratio('a', 'c')，sum=2,按2中计算为（2-1）/2 = 0.5,’a','c'没有重合，显然不合算，但是替换操作+2，就可以解决这个问题。