工程实际应用算法：字符串相似度计算-模糊匹配（python版）

字符串相似度计算

最近在处理小区位置名称匹配的问题：找出表A、表B中相同的小区名称。但两个表的小区名称存在不规范的问题，需要模糊匹配。考虑到数据量较大，还是尽量使用python的第三方库效率更高。python中相关的库是difflib库和fuzzywuzzy库。

difflib库

计算两字符串相似度

difflib.SequenceMatcher返回值在0-1之间，如果为1则认为完全相等。

def get_similarity(str1, str2):
    """
    :param str1:
    :param str2:
    :return: 计算两个字符串的相似度，
    """
    return difflib.SequenceMatcher(None, str1, str2).quick_ratio()

复现sql中like功能-模糊匹配

str1 = '中国'
str2 = '中国人'
name_list = ['美国', '中国', '俄罗斯']
# get_close_matches()函数返回namelist中str2的模糊匹配
str_test = difflib.get_close_matches(str2, name_list)

fuzzywuzzy库

fuzzywuzzy库的本质是编辑距离，主要涉及fuzz和 process两个模块。

from fuzzywuzzy import fuzz, process

# fuzz 主要用于计算字符串之间的匹配
str1 = '中国'
str2 = '中国.'
list1 = ['中国人', '中华人民共和国', '美国', '俄罗斯']

print(fuzz.ratio(str1, str2))   # 计算相似度：完全相似为100
print(fuzz.partial_ratio(str1, str2))   # 部分匹配，str1是str2的子串，依然返回100
print(fuzz.token_sort_ratio(str1, str2))    # 感觉这个没啥用

# process模块
print(process.extractOne(str1, list1))  # 返回list中最相似的一个
print(process.extract(str1, list1, limit=2))    # 返回list中比较相似的topn

～如果你的程序比较耗时，那么一定要反思是不是算法不对。一点感触：工作就是解应用题，而且是多重约束的应用题。