数据合并--Pandas
1. 键匹配合并:merge()函数
1.1 函数功能
合并DataFrame或者命名的Series，命名的Series被视为单列的DataFrame
1.2 函数语法
pandas.merge(left, right, how='inner', on=None, left_on=None, right_on=None, left_index=False, right_index=False, sort=False, suffixes=('_x', '_y'), copy=None, indicator=False, validate=None)
1.3 函数参数
| 参数 | 含义 |
|---|---|
| left | DataFrame或者命名的Series |
| right | DataFrame或者命名的Series |
| how | 合并方式：left:左合并；right:右合并；outer:并集；inner:取交集；cross:两个DataFrame的笛卡尔积；默认为：inner方式 |
| on | 合并的键，当两个DataFrame中均存在该键时使用 |
| left_on | 指定左边DataFrame中的键 |
| right_on | 指定右边DataFrame中的键 |
| left_index | 布尔型，默认取值为False，不清楚具体用法 |
| right_index | 布尔型，默认取值为False，不清楚具体用法 |
| sort | 布尔型，默认为True，不太理解 |
| suffixes | 合并两个DataFrame时，除键外还包含相同的列，如何对列进行命名，默认为（_x,_y），可以自己定义：长度为2的字符串序列 |
| copy | 默认取值为True，结果DataFrame为新的DataFrame |
| indicator | 是否新增一列表名数据来源的列，数据来源：left_only：左边DataFrame;right_only右边DataFrame;both:两个DataFrame |
| validate | ，字符串，可选参数，判定是否是指定的合并类型：“one_to_one” or “1:1”；“one_to_many” or “1:m”；“many_to_one” or “m:1”；“many_to_many” or “m:m” |
1.3.1 数据合并：默认合并方式
默认合并方式为:inner，两个DataFrame均有的数据将会被保留下来。可以观察到两个df中的键有相同的列名：cust_ID，因此，此时不需要单独指定left_on与right_on，可以直接使用on后面跟共同的列名
import pandas as pd
import numpy as np
cust = pd.read_csv('C:\\Users\\changyanhua\\Desktop\\customer.csv',encoding='gbk')
cred = pd.read_csv('C:\\Users\\changyanhua\\Desktop\\credit.csv',encoding='gbk')
print(cust)
print(cred)
data1 = pd.merge(cust, cred, on='cust_ID')
print(data1)
1.3.2 左/右合并
左合并，以左侧df的数据框为主，将右侧df的内容连接到左侧，左侧df的内容全部保留，右侧有无对应内容以空值填充。同理，可理解右合并。
data2 = pd.merge(cust, cred, on='cust_ID',how='left')
print(data2)
data3 = pd.merge(cust, cred, on='cust_ID',how='right')
print(data3)
1.3.3 外连接
左右两边的内容均会出现在结果中，对应内容的内容以空值填充
data4 = pd.merge(cust, cred, on='cust_ID',how='outer')
print(data4)
1.3.4 left_on与right_on
当两个df中的键列名不同时，需要分别指定两个df中的键
cred.rename(columns={'cust_ID':'ID'},inplace=True)
print(cred)
data5 = pd.merge(cust, cred, left_on='cust_ID',right_on='ID')
print(data5)
1.3.5 指定重复列的名称
cust = pd.read_csv('C:\\Users\\changyanhua\\Desktop\\customer.csv',encoding='gbk')
cred = pd.read_csv('C:\\Users\\changyanhua\\Desktop\\credit.csv',encoding='gbk')
print(cust)
print(cred)
data6=pd.merge(cust, cred, on='cust_ID',suffixes=['_cust','_cred'])
print(data6)
2. 拼接函数：cancat()
2.1 函数功能
沿着指定轴拼接对象
2.2 函数语法
pandas.concat(objs, *, axis=0, join='outer', ignore_index=False, keys=None, levels=None, names=None, verify_integrity=False, sort=False, copy=None)
2.3 函数参数
| 参数 | 含义 |
|---|---|
| objs | 拼接的对象，可以是 |
| axis | 沿着哪个轴拼接：0或“index"：按行合并；1或”columns"：按列合并，默认按行 |
| join | 合并的时候axis外的索引对其方式: ‘inner’, ‘outer’，默认outer：取并集 |
| ignore_index | 布尔值，默认为False：保留原来对象的索引值；True：按照0,…n-1重新编排索引 |
| keys | 添加一级索引，以区分不同的合并对象，默认为None |
| levels | 构建多层索引，默认为None |
| names | 给层次索引添加标题，默认None |
| vertify_intergrity | 布尔值，检验连接后的轴是否存在重复值，默认False:不检查 |
| sort | 布尔值，默认False，对非拼接方向的索引进行排序 |
| copy | 默认值True |
2.3.1 默认参数拼接
此时拼接的结果按行拼接，列的对其方式是:outer，只有一个df中存在的列进行保留，索引值不会重新排列，保留原来的索引，不添加高一级的层级标题等内容，不对索引值是否重复进行校验。
cust1 = pd.read_csv('C:\\Users\\changyanhua\\Desktop\\cust1.csv',encoding='gbk')
cust2 = pd.read_csv('C:\\Users\\changyanhua\\Desktop\\cust2.csv',encoding='gbk')
print(cust1)
print(cust2)
cus1 = pd.concat([cust1,cust2])
print(cus1)
2.3.2 拼接只保留共同的列:join=inner
cus1 = pd.concat([cust1,cust2],join='inner')
print(cus1)
2.3.3 对合并方向的索引列重新标注索引
cus1 = pd.concat([cust1,cust2],join='inner',ignore_index=True)
print(cus1)
2.3.4 对非拼接方向的索引排序
cus1 = pd.concat([cust1,cust2],join='outer',ignore_index=True,sort=True)
print(cus1)
2.3.5 纵向拼接：axis=1
cust1 = pd.read_csv('C:\\Users\\changyanhua\\Desktop\\cust1.csv',encoding='gbk')
cust2 = pd.read_csv('C:\\Users\\changyanhua\\Desktop\\cust2.csv',encoding='gbk')
print(cust1)
print(cust2)
cus1 = pd.concat([cust1,cust2],join='outer',axis=1)
print(cus1)
cus1 = pd.concat([cust1,cust2],join='outer',axis=1,ignore_index=True)
print(cus1)
可以看到此时对索引进行重新标注是没有意义的，ignore_index=True适用于索引没有实际意义的情况。