本文是写给有 SQL 基础，而对于 pandas 的 API 不够熟悉的同学的。将各种常见的 SQL 操作“翻译”成 pandas 的形式，从而便于数据处理。
一、join 操作
1. 建表
首先建立两个表，年龄国籍表和性别表，两者可以通过 name 字段进行关联。
import pandas as pd
import numpy as np
t1_data = [
['Michael', 22, 'China'],
['Erika', 23, 'Italy'],
['Linda', 21, 'Iran'],
['Kim', 21, 'South Korean'],
]
t2_data = [
['Michael', 'male'],
['Erika', 'female'],
['Linda', 'female']
]
t1 = pd.DataFrame(t1_data, columns=['name', 'age', 'country'])
t2 = pd.DataFrame(t2_data, columns=['name', 'gender'])
t1 数据如下：
| name | age | country | |
|---|---|---|---|
| 0 | Michael | 22 | China |
| 1 | Erika | 23 | Italy |
| 2 | Linda | 21 | Iran |
| 3 | Kim | 21 | South Korea |
t2 数据如下：
| name | gender | |
|---|---|---|
| 0 | Michael | male |
| 1 | Erika | female |
| 2 | Linda | female |
2. 关联 (join)
用 SQL 来实现是：
select
t1.name,
t1.age,
t1.country,
t2.gender
from t1 left join t2
on t1.name = t2.name
而在 pandas 中，join 被称为 merge。其中 on 表示两个表用于关联的键。how 表示 join 的方式，支持 {‘left’, ‘right’, ‘outer’, ‘inner’} 四个选项，分别对应 SQL 的 left join、right join、outer join、inner join。
t1.merge(t2, on='name', how='left')
能匹配到 name 的就会补充上 gender，Kim 在性别表差不到数据，因此填充来一个 NaN 表示空值。
| name | age | country | gender | |
|---|---|---|---|---|
| 0 | Michael | 22 | China | male |
| 1 | Erika | 23 | Italy | female |
| 2 | Linda | 21 | Iran | female |
| 3 | Kim | 21 | South Korea | NaN |
3. 关联的字段不同名
遇到两个表需要关联的字段不同名，在 SQL 中只需要修改 on 后面的条件即可。
select
t1.first_name,
t1.age,
t1.country,
t2.name,
t2.gender
from t1 left join t2
on t1.first_name = t2.name
假如把 t1 的 name 换一个名字，那么就不能直接用 on='name' 来进行关联了。先使用 rename 方法更改列名，然后再次左联。
t1.rename(columns={'name': 'first_name'}, inplace=True)
t1.merge(t2, left_on='first_name', right_on='name', how='left')
输出：
| first_name | age | country | name | gender | |
|---|---|---|---|---|---|
| 0 | Michael | 22 | China | Michael | male |
| 1 | Erika | 23 | Italy | Erika | female |
| 2 | Linda | 21 | Iran | Linda | female |
| 3 | Kim | 21 | South Korea | NaN | NaN |
4. 两表有同名字段
新增一个年龄表：
t3_data = [
['Kim', '21'],
]
t3 = pd.DataFrame(t4_data, columns=['name', 'age'])
表内容：
| name | age | |
|---|---|---|
| 0 | Kim | 21 |
如果不对 age 两个同名字段进行处理，pandas 会自动添加后缀，一个是 _x，另一个是 _y：
t1.merge(t3, left_on='first_name', right_on='name', how='left')
| first_name | age_x | country | name | age_y | |
|---|---|---|---|---|---|
| 0 | Michael | 22 | China | NaN | NaN |
| 1 | Erika | 23 | Italy | NaN | NaN |
| 2 | Linda | 21 | Iran | NaN | NaN |
| 3 | Kim | 21 | South Korea | Kim | 21 |
如果想要自定义后缀，那么可以：
t1.merge(
t3,
left_on='first_name',
right_on='name',
how='left',
suffixes=('_left', '_right')
)
于是上表的 age_x 和 age_y 就变成 age_left 和 age_right 了。
5. pandas 的 join
pandas 的 join 和 SQL 的 join 不太一样。默认行为是直接根据 index 进行关联。你可以理解为直接把两个表左右拼接在一起。
t5_data = [
['Mason'],
['Jack'],
['Michael']
]
t5 = pd.DataFrame(t5_data, columns=['name'])
t1.join(t5)
可以看到是直接根据 index 序号进行左右拼接。
| first_name | age | country | name | |
|---|---|---|---|---|
| 0 | Michael | 22 | China | Mason |
| 1 | Erika | 23 | Italy | Jack |
| 2 | Linda | 21 | Iran | Michael |
| 3 | Kim | 21 | South Korean | NaN |
如果存在名字相同的列则需要指明后缀，否则会报 ValueError。
t5.join(t5, lsuffix='_a', rsuffix='_b')
| name_a | name_b | |
|---|---|---|
| 0 | Mason | Mason |
| 1 | Jack | Jack |
| 2 | Michael | Michael |
二、union all 操作
将两个表上下拼接起来的操作。
pd.concat([t1, t5])
# 注意不支持 t1.concat(t5) 的写法
结果如下：
| first_name | age | country | name | |
|---|---|---|---|---|
| 0 | Michael | 22 | China | NaN |
| 1 | Erika | 23 | Italy | NaN |
| 2 | Linda | 21 | Iran | NaN |
| 3 | Kim | 21 | South Korea | NaN |
| 0 | NaN | NaN | NaN | Mason |
| 1 | NaN | NaN | NaN | Jack |
| 2 | NaN | NaN | NaN | Michael |
注意，该操作不会做任何去重，只是单纯的拼接而已。
三、group by 操作
例如要求男性和女性两组的平均年龄。先关联 t1 和 t2 然后 group by 即可：
t1.merge(t2, left_on='first_name', right_on='name', how='inner')\
.groupby('gender').mean()
如果用 SQL 实现：
select gender, avg(age) from t1 inner join t2
on t1.first_name = t2.name
group by gender
同时查看最小值和最大值：
t1.merge(t2, left_on='first_name', right_on='name', how='inner')\
.groupby('gender')['age'].agg(['min', 'max'])
其中 ['age'] 表示只输出 age 字段。agg 表示聚合，对于内置函数需要用引号，这里分别计算两个组的最小值和最大值。
| gender | min | max |
|---|---|---|
| female | 21 | 23 |
| male | 22 | 22 |
SQL版本：
select
gender,
min(age),
max(age)
from t1 inner join t2
on t1.first_name = t2.name
group by gender
自定义聚合函数
这里是体现 Python 比 SQL 强大的地方了。你可以写自定义的聚合函数。比如我要计算每组的奇数个数。注意，由于是聚合函数，因此传入的参数是 Series 对象，即一列数据，因此要用对应的方法。用数学语言来说，这里处理的是向量，而不是标量。
def is_odd(s):
return (s % 2).sum()
t1.merge(t2, left_on='first_name', right_on='name', how='inner')\
.groupby('gender')['age'].agg(['min', 'max', is_odd])
s % 2 是对输入的向量的每一个元素进行除2求余数，然后用内置聚合函数 sum 加总，由于奇数的余数是1，而偶数的余数是0，因此这个求和数就是奇数的个数。传参到 agg 方法只需要把 is_odd 函数放入列表即可，由于不是内置函数，因此不需要加引号。
暂时写到这里，后面如果用到其他地方再继续补充。