工程实际应用算法:字符串相似度计算-模糊匹配(python版)

字符串相似度计算-模糊匹配(python版)

  • 字符串相似度计算
    • difflib库
      • 计算两字符串相似度
      • 复现sql中like功能-模糊匹配
    • fuzzywuzzy库

字符串相似度计算

最近在处理小区位置名称匹配的问题:找出表A、表B中相同的小区名称。但两个表的小区名称存在不规范的问题,需要模糊匹配。考虑到数据量较大,还是尽量使用python的第三方库效率更高。python中相关的库是difflib库和fuzzywuzzy库。

difflib库

计算两字符串相似度

difflib.SequenceMatcher返回值在0-1之间,如果为1则认为完全相等。

def get_similarity(str1, str2):
    """
    :param str1:
    :param str2:
    :return: 计算两个字符串的相似度,
    """
    return difflib.SequenceMatcher(None, str1, str2).quick_ratio()

复现sql中like功能-模糊匹配

str1 = '中国'
str2 = '中国人'
name_list = ['美国', '中国', '俄罗斯']
# get_close_matches()函数返回namelist中str2的模糊匹配
str_test = difflib.get_close_matches(str2, name_list)

fuzzywuzzy库

fuzzywuzzy库的本质是编辑距离,主要涉及fuzz和 process两个模块。

from fuzzywuzzy import fuzz, process

# fuzz 主要用于计算字符串之间的匹配
str1 = '中国'
str2 = '中国.'
list1 = ['中国人', '中华人民共和国', '美国', '俄罗斯']

print(fuzz.ratio(str1, str2))   # 计算相似度:完全相似为100
print(fuzz.partial_ratio(str1, str2))   # 部分匹配,str1是str2的子串,依然返回100
print(fuzz.token_sort_ratio(str1, str2))    # 感觉这个没啥用

# process模块
print(process.extractOne(str1, list1))  # 返回list中最相似的一个
print(process.extract(str1, list1, limit=2))    # 返回list中比较相似的topn

~如果你的程序比较耗时,那么一定要反思是不是算法不对。一点感触:工作就是解应用题,而且是多重约束的应用题。

你可能感兴趣的:(算法小case,工程师,python,模糊匹配)