相似度计算

cos和Jaccard
cos公式就是计算两个向量的距离
Jaccard是两向量的交 / 两向量的并，因此也可以更快的计算相似度

"""
Step 1：Cosine
Step 2：Jaccard
"""

# Step 1: Cosine
input1_str = "我们 带来 阿里巴巴 希望 差 差 差"
input2_str = "我们 带来 阿里巴巴 希望 好 好 好"

def cosine(input1_str, input2_str):
    t1_dict = {
     }
    sum = 0

    for k, v in get_tfidf(input1_str):
        sum += pow(v,2)
    sum = math.sqrt(sum)
    for k, v in get_tfidf(input1_str):
        t1_dict[k] = float(v / sum)

    for k, v in get_tfidf(input1_str):
        sum += pow(v,2)
    sum = math.sqrt(sum)
    final_score = 0
    for k, v in get_tfidf(input2_str):
        if k not in t1_dict:
            continue
        s1 = t1_dict[k]
        s2 = float(v / sum)
        final_score += s1 * s2
    return final_score

print(cosine(input1_str, input2_str))

# Step 1: Jaccard
input1_str = "我们 带来 阿里巴巴 希望 差 差 差"
input2_str = "我们 带来 "

def jaccard(input1_str, input2_str):
    s1_set = set(input1_str.strip().split(' '))
    s2_set = set(input2_str.strip().split(' '))

    score = 0
    s1_s2_join = s1_set & s2_set
    len1 = len(s1_s2_join)

    s1_s2_union = s1_set | s2_set
    len2 = len(s1_s2_union)

    return  float(len1) / float(len2)
print(jaccard(input1_str, input2_str))