Python处理数据匹配问题

参考博客：Python做数据匹配
最近做了一个数据匹配的小任务，记录一下实现的过程以便以后用到的时候能够查看
简单来说，数据匹配就是对数据库做join操作，将几个数据库做inner join
基本的操作学习可以参考上面的博客链接，对Pandas这个第三方库有很好的介绍。更加详细的资料可以参考Pandas中文文档
下面记录一下项目的实现过程

任务需要：

总共要处理三份数据，就是连接三份数据。
papers(以dta格式存储），mag(以txt形式存储在文件中），grid（以dta格式存储）
papers就是paper的数据包括paper的一系列的信息，mag里有paper和对应org的信息，而grid就是org的信息。
要进行匹配的部分就是papers的title与mag里的org，最后与grid里的name匹配，最后的得到的要是papers连接上grid的信息。

实现过程：

第一步就是读取数据：

import pandas as pd
import json  #引入json是为了处理txt里的数据

#读取dta,csv格式的数据非常简单读取txt里的数据需要对读入的数据进行处理
df = pd.read_csv("xx")  #读入csv格式的数据
df = pd.read_stata("xx")  #读入dta格式的数据
#新建DataFrame
df = pd.DataFrame(columns = [], index = [])
#读取txt的数据
#因为数据特别大,用readlines会出错
for line in open("xx", "r", encoding="utf-8"):
	data = json.loads(line)  #读入数据然后进行一系列处理
	...
	...
#然后要合并几个封装数据的DataFrame
df = pd.concat(l)  #l为一个List
#数据清洗
df = df.dropna()  #去除带有空值的行
df = df.dropna(subset = [])  #将范围限定在subset里

数据读入并处理完成后要做匹配

#将df_left与df_right做inner join,on指定了匹配的字段
df = pd.merge(df_left, df_right, on='xx', how='inner')

至此匹配完成
因为数据处理的需要用到了fuzzywuzzy这个包做模糊匹配
记录一下fuzzywuzzy的使用
要使用模糊匹配的话要导入两个包

from fuzzywuzzy import fuzz
from fuzzywuzzy import process

几种比较方式：

fuzz.token_sort_ratio(x, y)  #忽略顺序进行比较
fuzz.token_set_ratio(x, y)  #忽略重复进行比较
fuzz.token_partial_ratio(x, y)  #部分比较

模糊匹配:

#xx为需要进行匹配的字段
possible = process.extract("xx", choice, limit=10, scorer=fuzz.token_sort_ratio) 
#将xx与choice里的元素进行比较，选出匹配最接近的10个,scorer是排序器