字符串Jaccard Similarity分析与源代码

1. Jaccard Similarity 定义

定义： Jaccard Similarity是针对2个集合而言的，对于集合S和 T，Jaccard similarity: Jaccard(S,T) = |S交T| / |S并T|

例子1：

S={a,b, c}, T={b, c, d}

Jaccard(S, T)= 2/4

例子2：

R={Intel Corporation}, S={Intel Corp.}, T={Microsoft Corporation}

Jaccard(R, S)= 1/3, Jaccard(R, T)= 1/3

暂不考虑weighted Jaccard

2. 字符串Jaccard Similarity求解

对于字符串求解Jaccard Similarity，先要根据q-gram对字符串进行划分，得到子串集合。

（由于字符串进行拆分时，可能出现相同的字符串，在接下来的分析中相同的字符串只计算一次）

所以问题就转化为求2个字符串集合的交集和并集元素个数。

3. 源程序

double getJac(const char*str1, const char*str2, int step) {
	string s1 = str1;
	string s2 = str2;
	int m = strlen(str1);
	int n = strlen(str2);
	set<string> S;
	set<string> T;
	for(int i=0; i<=m-step; i++) {
		string tmp = s1.substr(i, step);
		S.insert(tmp);
	}
	for(int i=0; i<=n-step; i++) {
		string tmp = s2.substr(i, step);
		T.insert(tmp);
	}
	int commonNum = 0;
	set<string>::iterator iter1;
	for(iter1=S.begin();iter1!=S.end();iter1++) {
		int isIn = T.count(*iter1);
		commonNum += isIn;		
	}
	int mergeNum =S.size()+T.size()-commonNum;
	return double(commonNum)/mergeNum;
}

Remark: step是q-gram中的q。

程序实现用了STL的容器set。

假设对于aabb和aabd，按照1-gram，则会出现以下2种情况：
a) S={a,b}，T={a,b,d},Jaccard(S,T)=2/3
b) S={a,a,b,b}，T={a,a,b,d},Jaccard(S,T)=3/4
以上哪种情况是对的呢？
按理来说这两种都可以，在没特别说明下我们使用第一种。