Python Pandas merge 连接 参数 详解 数据合并 数据拼接

pd.merge 根据一个或多个键将两个DataFrame进行行连接（横向 / 左右连接），类似于SQL的关系型数据库。

一、参数详解

二、how 连接方式可选参数

三、示例代码

1. 一对一 merge。

1.1 初始化 df1 和 df2 数据。

1.2 merge 结果

1. 请注意，如果不指定在哪一列上进行连接，merge 会自动将重叠的列名作为连接的键。但最好的方式是显示指定连接键 on = 'key'。

2. 连接方式 how 默认是 inner 。其结果是取的两张表的交集。所以 df1中的c列和 df2中的 d列缺失了。
   inner：取交集，只连接两张表都存在的内容。（数据量可能变少）
   left：以左表键为主，若右表不存在相应数据，则补 NaN；若右表有左表不存在的数据，则舍弃右表该部分。
   right：以右表键为主，若左表不存在相应数据，则补 NaN；若左表有右表不存在的数据，则舍弃左表该部分。
   outer：取并集，将两个表所有的键取并集后，再进行连接。（数据量一定变大）

pd.merge(df1,df2,on='key',how='inner')

4. 连接键在 df1 和 df2 的列名可以是不同的，此时不在用 on 指定键，而是用 left_on 和 right_on。eg：df1 键为 lkey，df2 键为 rkey，则代码如下：

pd.merge(df1,df2,left_on='lkey',right_on='rkey')

1.3 代码

import pandas as pd
import numpy as np

df1 = pd.DataFrame({
    'key':['a','b','c'],
    'data1':range(3)
})
df2 = pd.DataFrame({
    'key':['a','b','d'],
    'data2':range(3)
})

# pd.merge(df1,df2)
pd.merge(df1,df2,on='key')

2. 一对多 merge 。

2.1 初始化df1 df2

2.2 merge 结果

一对多 和 多对多 连接是行的笛卡尔积。由于 df1 有两个 ‘a’ 行，而 df2 有一个’a’ 行，所以结果就应该是 2*1 = 2 ，总计 2 个 ‘a’ 行。

2.3 代码

import pandas as pd
import numpy as np

df1 = pd.DataFrame({
    'key':['a','a','b'],
    'data1':range(3)
})
df2 = pd.DataFrame({
    'key':['a','b','d'],
    'data2':range(3)
})

pd.merge(df1,df2,on='key',how='outer')

3. 一对多 merge 。

3.1 初始化df1 df2

3.2 merge 结果

1. 一对多 和 多对多 连接是行的笛卡尔积。由于 df1 有 2 个 ‘a’ 行，而 df2 有 2 个’a’ 行，所以结果就应该是 2*2 = 2 ，总计 4 个 ‘a’ 行。
2. 注意此次我们初始化的 df1 和df2 有重叠的列名 data。默认生成 data_x data_y 等。
   
3. 我们可以通过 suffixes 在重叠的列名后指定需要添加的字符串。

3.3 代码

import pandas as pd
import numpy as np

df1 = pd.DataFrame({
    'key':['a','a','b'],
    'data':range(3)
})
df2 = pd.DataFrame({
    'key':['a','a','d'],
    'data':range(3)
})

pd.merge(df1,df2,on='key',how='outer',suffixes=('_1','_2'))

4. 根据索引合并。

4.1 初始化df1 df2

4.2 merge 结果

1. 如果 df 中用于合并的键是他的索引，此时可以使用 left_index 或 right_index 来表示索引用来作为合并的键。
2. 两边都是索引也是可以的。
   

4.3 代码

import pandas as pd
import numpy as np

df1 = pd.DataFrame({
    'key':['a','b','c'],
    'data1':range(3)
})
df2 = pd.DataFrame({
    'data2':[2,5,8]
},
    index=['a','b','c']
)

pd.merge(df1,df2,left_on='key', right_index=True, how='outer')

5. 根据多建合并。

5.1 初始化df1 df2

5.2 merge 结果

在on参数中传递多个键。

5.3 代码

import pandas as pd
import numpy as np

df1 = pd.DataFrame({
    '年级':['初一','初一','初二','初三','初三'],
    '班级':['1班','2班','1班','1班','2班'],
    '学生人数':[34,54,23,44,57]
})
df2 = pd.DataFrame({
    '年级':['初一','初二','初二','初三','初三'],
    '班级':['2班','1班','2班','1班','2班'],
    '教师人数':[6,4,5,4,7]
})

pd.merge(df1,df2,on=['年级','班级'], how='outer')