Python—匹配字段
1. 「概述」
在日常开发中，经常需要对数据中的某些字段进行匹配，但这些字段可能存在微小的差异。例如，同一个招聘岗位的数据中，省份字段可能有“广西”、“广西壮族自治区”和“广西省”等不同的写法。为了处理这些情况，文章介绍了一个名为FuzzyWuzzy的模糊字符串匹配工具包。
2. 「FuzzyWuzzy库介绍」
FuzzyWuzzy是一个基于Levenshtein Distance算法的模糊字符串匹配工具包。该算法计算两个序列之间的差异，即从一个字符串转换到另一个字符串所需的最少编辑操作次数。编辑操作可以是替换、插入或删除字符。编辑距离越小，两个字符串的相似度越大。
3. 「fuzz模块」
fuzz模块提供了四种匹配方法：
-
简单匹配（Ratio）
-
非完全匹配（Partial Ratio）
-
忽略顺序匹配（Token Sort Ratio）
-
去重子集匹配（Token Set Ratio）
python
from fuzzywuzzy import fuzz # 示例代码及结果 print(fuzz.ratio("河南省", "河南省")) # 结果: 100 print(fuzz.partial_ratio("河南省", "河南省"))
# 结果: 100 print(fuzz.token_sort_ratio("西藏自治区", "自治区西藏"))
# 结果: 100 print(fuzz.token_set_ratio("西藏西藏自治区", "自治区西藏")) # 结果: 100
4. 「process模块」
process模块用于处理有限的备选答案，返回模糊匹配的字符串和相似度。主要方法有：
-
extract：提取多条数据
-
extractOne：提取一条数据
python
from fuzzywuzzy import process # 示例代码及结果 choices = ["河南省", "郑州市", "湖北省", "武汉市"] print(process.extract("郑州", choices, limit=2)) # 结果: [('郑州市', 90), ('河南省', 0)] print(process.extractOne("郑州", choices)) # 结果: ('郑州市', 90)
5. 「实战应用」
文章中还展示了两个实战应用的例子，分别是公司名称字段的模糊匹配和省市字段的模糊匹配。
python
# 模糊匹配函数 def fuzzy_merge(df_1, df_2, key1, key2, threshold=90, limit=2):
s = df_2[key2].tolist() m = df_1[key1].apply(lambda x: process.extract(x, s, limit=limit))
df_1['matches'] = m
m2 = df_1['matches'].apply(lambda x: [i[0] for i in x if i[1] >= threshold][0] if len([i[0] for i in x if i[1] >= threshold]) > 0 else '') df_1['matches'] = m2 returndf_1
# 示例代码及结果 # 假设data和company是两个DataFrame，这里只是为了展示函数的使用方法 # df = fuzzy_merge(data, company, '公司名称', '公司名称', threshold=90) # print(df)
6. 「总结」
FuzzyWuzzy是一个强大的模糊字符串匹配工具，它可以帮助开发者轻松处理字符串匹配问题，特别是在数据清洗和预处理时。
内容没有结果和图，仅个人学习使用。
本文转自 https://mp.weixin.qq.com/s/4-kTrdIsUg2WH4wGjTlXOw，如有侵权，请联系删除。
题外话
感兴趣的小伙伴，赠送全套Python学习资料，包含面试题、简历资料等具体看下方。
CSDN大礼包：全网最全《Python学习资料》免费赠送！（安全链接，放心点击）
一、Python所有方向的学习路线
Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。
二、Python必备开发工具
工具都帮大家整理好了，安装就可直接上手！
三、最新Python学习笔记
当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。
四、Python视频合集
观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
五、实战案例
纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
六、面试宝典
简历模板
CSDN大礼包：全网最全《Python学习资料》免费赠送！（安全链接，放心点击）
若有侵权，请联系删除