pandas骚操作：transform 数据转换的 4 个常用技巧！

公众号后台回复“图书“，了解更多号主新书内容

来源：Python数据科学

作者：东哥起飞

大家好，我是东哥。

本篇是pandas100个骚操作系列的第 8 篇：transform 数据转换的 4 个常用技巧！

系列内容，请看????「pandas100个骚操作」话题，订阅后文章更新可第一时间推送至订阅号。

---

本次给大家介绍一个功能超强的数据处理函数transform，相信很多朋友也用过，东哥这里再次进行详细分享下。

transform有4个比较常用的功能，总结如下：

• 转换数值

• 合并分组结果

• 过滤数据

• 结合分组处理缺失值

一. 转换数值

pd.transform(func, axis=0)

以上就是transform转换数值的基本用法，参数含义如下：

• func是指定用于处理数据的函数，它可以是普通函数、字符串函数名称、函数列表或轴标签映射函数的字典。

• axis是指要应用到哪个轴，0代表列，1代表行。

1. 普通函数

func可以是我们正常使用的普通函数，像下面例子这样自定义一个函数。

df = pd.DataFrame({'A': [1,2,3], 'B': [10,20,30] })
def plus_10(x):
    return x+10
df.transform(plus_10)

或者，也可以用lambda函数简洁的实现，效果是一样的。

df.transform(lambda x: x+10)

2. 字符串函数

也可以传递任何有效的pandas内置的字符串函数，例如sqrt：

df.transform('sqrt')

3. 函数列表

func还可以是一个函数的列表。例如numpy的sqrt和exp函数的列表组合：

df.transform([np.sqrt, np.exp])

通过上面结果看到，两个函数分别作用于A和B每个列。

4. 轴标签映射函数的字典

如果我们只想将指定函数作用于某一列，该如何操作？

func还可以是轴标签映射指定函数的字典。例如：

df.transform({
    'A': np.sqrt,
    'B': np.exp,
})

这样，就可以对A和BL两列分别使用相应函数了，互补干扰。

二、合并分组结果

这个功能是东哥最喜欢的，有点类似SQL的窗口函数，就是可以合并grouby()的分组结果。用一个例子说明：

df = pd.DataFrame({
  'restaurant_id': [101,102,103,104,105,106,107],
  'address': ['A','B','C','D', 'E', 'F', 'G'],
  'city': ['London','London','London','Oxford','Oxford', 'Durham', 'Durham'],
  'sales': [10,500,48,12,21,22,14]
})

我们可以看到，每个城市都有多家销售餐厅。我们现在想知道每家餐厅在城市中所占的销售百分比是多少。 预期输出为：

传统方法是：先groupby分组，结合apply计算分组求和，再用merge合并原表，然后再apply计算百分比。

但其实用transform可以直接代替前面两个步骤（分组求和、合并），简单明了。

首先，用transform结合groupby按城市分组计算销售总和。

df['city_total_sales'] = df.groupby('city')['sales']
                           .transform('sum')

可以看到，使用transfrom计算分组的求和并不会像apply一样改变原表的结构，而是直接在原表的基础上再增加一列。

这样就可以一步到位，得到我们想要的格式。

然后，再计算百分比调整格式，搞定。

df['pct'] = df['sales'] / df['city_total_sales']
df['pct'] = df['pct'].apply(lambda x: format(x, '.2%'))

三、过滤数据

transform也可以用来过滤数据。仍用上个例子，我们希望获得城市总销售额超过40的记录，那么就可以这样使用。

df[df.groupby('city')['sales'].transform('sum') > 40]

上面结果来看，并没有生成新的列，而是通过汇总计算求和直接对原表进行了筛选，非常优雅。

四、结合分组处理缺失值

df = pd.DataFrame({
    'name': ['A', 'A', 'B', 'B', 'B', 'C', 'C', 'C'],
    'value': [1, np.nan, np.nan, 2, 8, 2, np.nan, 3]
})

在上面的示例中，数据可以按name分为三组A、B、C，每组都有缺失值。我们知道替换缺失值的常见的方法是用mean替换NaN。下面是每个组中的平均值。

df.groupby('name')['value'].mean()
name
A    1.0
B    5.0
C    2.5
Name: value, dtype: float64

我们可以通过transform()使用每组平均值来替换缺失值。用法如下：

df['value'] = df.groupby('name')
                .transform(lambda x: x.fillna(x.mean()))

以上就是本次关于transform的数据转换操作分享。

◆ ◆ ◆  ◆ ◆麟哥新书已经在当当上架了，我写了本书：《拿下Offer-数据分析师求职面试指南》，目前当当正在举行活动，大家可以用相当于原价5折的预购价格购买，还是非常划算的：

数据森麟公众号的交流群已经建立，许多小伙伴已经加入其中，感谢大家的支持。大家可以在群里交流关于数据分析&数据挖掘的相关内容，还没有加入的小伙伴可以扫描下方管理员二维码，进群前一定要关注公众号奥，关注后让管理员帮忙拉进群，期待大家的加入。
管理员二维码：
猜你喜欢
● 卧槽！原来爬取B站弹幕这么简单● 厉害了！麟哥新书登顶京东销量排行榜！● 笑死人不偿命的知乎沙雕问题排行榜
● 用Python扒出B站那些“惊为天人”的阿婆主！● 你相信逛B站也能学编程吗