python--利用余弦相似度公式计算两字符串的相似性

步骤：

1、先对下面两字符串进行分词处理：

	s1 = "hi，今天温度是12摄氏度。"
    s2 = "hello，今天温度很高。"

分词结果：

    ['hi', '今', '天', '温', '度', '是', '12', '摄', '氏', '度']
    ['hello', '今', '天', '温', '度', '很', '高']

2、再讲上面的分词结果转成向量形式：

	合并分词列表：['12', '天', '今', '高', '是', '度', '氏', '温', 'hello', 'hi', '摄', '很']
	s1转为向量： word_vector1 = [1. 1. 1. 0. 1. 2. 1. 1. 0. 1. 1. 0.]
	s2转为向量： word_vector2 = [0. 1. 1. 1. 0. 1. 0. 1. 1. 0. 0. 1.]

2、再利用余弦相似度公式计算 两字符串对应的向量的相似度。

   s1和s2的相似度为：	0.545544725589981

代码：

import numpy as np
import re
import warnings
warnings.filterwarnings('ignore')

def get_word_vector(s1,s2):
    """
    :param s1: 句子1
    :param s2: 句子2
    :return: 返回中英文句子切分后的向量
    """
   
    # 把句子按字分开，中文按字分，英文按单词，数字按空格
    regEx = re.compile('[\\W]*')
    res = re.compile(r"([\u4e00-\u9fa5])")

    p1 = regEx.split(s1.lower())
    str1_list = []
    for str in p1:
        if res.split(str) == None:
            str1_list.append(str)
        else:
            ret = res.split(str)
            for ch in ret:
                str1_list.append(ch)
    # print(str1_list)

    p2 = regEx.split(s2.lower())
    str2_list = []
    for str in p2:
        if res.split(str) == None:
            str2_list.append(str)
        else:
            ret = res.split(str)
            for ch in ret:
                str2_list.append(ch)
    # print(str2_list)

    list_word1 = [w for w in str1_list if len(w.strip()) > 0]  # 去掉为空的字符
    list_word2 = [w for w in str2_list if len(w.strip()) > 0]  # 去掉为空的字符
    print(list_word1,list_word2)

    # 列出所有的词,取并集
    key_word = list(set(list_word1 + list_word2))
    print(key_word)
    # 给定形状和类型的用0填充的矩阵存储向量
    word_vector1 = np.zeros(len(key_word))
    word_vector2 = np.zeros(len(key_word))

    # 计算词频
    # 依次确定向量的每个位置的值
    for i in range(len(key_word)):
        # 遍历key_word中每个词在句子中的出现次数
        for j in range(len(list_word1)):
            if key_word[i] == list_word1[j]:
                word_vector1[i] += 1
        for k in range(len(list_word2)):
            if key_word[i] == list_word2[k]:
                word_vector2[i] += 1

    # 输出向量
    print(word_vector1)
    print(word_vector2)
    return word_vector1, word_vector2


def cos_dist(vec1,vec2):
    """
    :param vec1: 向量1
    :param vec2: 向量2
    :return: 返回两个向量的余弦相似度
    """
    dist1=float(np.dot(vec1,vec2)/(np.linalg.norm(vec1)*np.linalg.norm(vec2)))
    return dist1


if __name__ == '__main__':
    
    s1 = "hi，今天温度是12摄氏度。"
    s2 = "hello，今天温度很高。"
  
    vec1,vec2=get_word_vector(s1,s2)
    dist1=cos_dist(vec1,vec2)
    print(dist1)

输出结果：

['hi', '今', '天', '温', '度', '是', '12', '摄', '氏', '度']  ['hello', '今', '天', '温', '度', '很', '高']
['12', '天', '今', '高', '是', '度', '氏', '温', 'hello', 'hi', '摄', '很']
[1. 1. 1. 0. 1. 2. 1. 1. 0. 1. 1. 0.]
[0. 1. 1. 1. 0. 1. 0. 1. 1. 0. 0. 1.]
0.545544725589981

分析结果：

字符串：
    s1 = "hi，今天温度是12摄氏度。"
    s2 = "hello，今天温度很高。"
的相似度为：0.545544725589981