Python+大数据-数据分析与处理(四)-pandas数据处理

Python+大数据-数据分析与处理(四)-pandas数据处理

1. apply自定义函数

1.1 apply函数简介

pandas 的 apply() 函数可以作用于 Series 或者整个 DataFrame，功能也是自动遍历整个 Series 或者 DataFrame，对每一个元素运行指定的函数。

1）pandas 提供了很多数据处理的 API，但当提供的 API 不能满足需求的时候，需要自己编写数据处理函数, 这个时候可以使用 apply 函数

2）apply 函数可以接收一个自定义函数，可以将 DataFrame 的行或列数据传递给自定义函数处理

3）apply 函数类似于编写一个 for 循环，遍历行、列的每一个元素, 但比使用 for 循环效率高很多

• Series 和 DataFrame 均可以通过 apply 传入自定义函数
• DataFrame 也可通过 applymap 传入自定义函数
• 有些时候需要通过 np 的 vectorize 函数才能进行向量化计算
• lambda 表达式可用于创建一些匿名的简单函数

2. 数据分组操作

2.1 分组聚合操作

在 SQL 中我们经常使用 GROUP BY 将某个字段，按不同的取值进行分组，在 pandas 中也有 groupby 函数；

分组之后，每组都会有至少1条数据，将这些数据进一步处理返回单个值的过程就是聚合。

比如：分组之后计算算术平均值，或者分组之后计算频数，都属于聚合。

基本格式：

方式	说明
方式1： df.groupby(列标签, ...).列标签.聚合函数()	按指定列分组，并对分组数据 的相应列进行相应的 聚合操作
方式2： df.groupby(列标签, ...).agg({'列标签': '聚合', ...}) df.groupby(列标签, ...).列表签.agg(聚合...)	按指定列分组，并对分组数据 的相应列进行相应的 聚合操作
方式3： df.groupby(列标签, ...).aggregate({'列标签': '聚合', ...}) df.groupby(列标签, ...).列表签.aggregate(聚合...)	按指定列分组，并对分组数据 的相应列进行相应的聚合操作

注意：

1）方式1 只能使用 pandas 内置的聚合方法，并且只能进行一种聚合

2）方式2 和 方式3 除了能够使用 pandas 内置的聚合方法，还可以使用其他聚合方法，并且可以进行多种聚合

2.1.1pandas内置的聚合方法

可以与groupby一起使用的方法和函数：

pandas方法	Numpy函数	说明
count	np.count_nonzero	频率统计(不包含NaN值)
size		频率统计(包含NaN值)
mean	np.mean	求平均值
std	np.std	标准差
min	np.min	最小值
quantile()	np.percentile()	分位数
max	np.max	求最大值
sum	np.sum	求和
var	np.var	方差
describe		计数、平均值、标准差，最小值、分位数、最大值
first		返回第一行
last		返回最后一行
nth		返回第N行(Python从0开始计数)

2.2 transform 转换

• transform 转换，需要把 DataFrame 中的值传递给一个函数， 而后由该函数"转换"数据
• aggregate(聚合) 返回单个聚合值，但 transform 不会减少数据量

2.3 分组过滤

使用 groupby 方法还可以过滤数据，调用 filter 方法，传入一个返回布尔值的函数，返回 False 的数据会被过滤掉

2.4 DataFrameGroupBy 对象

• 分组是数据分析中常见的操作，有助于从不同角度观察数据
• 分组之后可以得到 DataFrameGroupby 对象，该对象可以进行聚合、转换、过滤操作
• 分组之后的数据处理可以使用已有的内置函数，也可以使用自定义函数
• 分组不但可以对单个字段进行分组，也可以对多个字段进行分组，多个字段分组之后可以得到MultiIndex数据，可以通过 reset_index 方法将数据变成普通的 DataFrame

3. 数据透视表

3.1 透视表概述

数据透视表（Pivot Table）是一种交互式的表，可以进行某些计算，如求和与计数等。所进行的计算与数据跟数据透视表中的排列有关。

之所以称为数据透视表，是因为可以动态地改变它们的版面布置，以便按照不同方式分析数据，也可以重新安排行号、列标和页字段。每一次改变版面布置时，数据透视表会立即按照新的布置重新计算数据。另外，如果原始数据发生更改，则可以更新数据透视表。

在使用 Excel 做数据分析时，透视表是很常用的功能，pandas 也提供了透视表功能，对应的 API 为 pivot_table

pandas pivot_table 函数介绍：

方法	说明
pd.pivot_table(df, ...)	进行透视表操作
df.pivot_table(...)	进行透视表操作

pivot_table 最重要的四个参数 values、index、columns、aggfunc，下面通过案例介绍 pivot_tabe 的使用

透视表实现：

• index：行索引，传入原始数据的列名
• columns：列索引，传入原始数据的列名
• values: 要做聚合操作的列名
• aggfunc：聚合函数

3.2 总结

• 透视表是数据分析中经常使用的 API，跟 Excel 中的数据透视表功能类似
• pandas 的数据透视表：pivot_table，常用几个参数 index、values、columns、aggfuc、margin
• pandas 的数据透视表功能与 groupby 功能类似

4. datatime数据类型

Python 内置了datetime 对象，可以在 datetime 库中找到

from datetime import datetime
# 获取当前时间
t1 = datetime.now()
t1

4.1 pandas中数据转换成datatime

# 查看前五行数据
ebola = pd.read_csv('./data/country_timeseries.csv')
ebola.iloc[:5, :5]

# 注：从数据中看出 Date 列是日期，但通过info查看加载后数据为object类型
ebola.info()

#可以通过 pandas 的 to_datetime方法把 Date 列转换为datetime，然后创建新列
ebola['Date_Dt'] = pd.to_datetime(ebola['Date'])
ebola.info()

#如果数据中包含日期时间数据，可以在加载的时候，通过parse_dates参数指定自动转换为 datetime
ebola = pd.read_csv('./data/country_timeseries.csv', parse_dates=[0])
ebola.info()

#可以看到得到的数据是Timestamp类型，通过Timestamp可以获取年、月、日等部分
# 通过 ebola 数据集的 Date 列，创建新列 year、month、day
ebola['year'] = ebola['Date'].dt.year
ebola['year']

ebola['month'] = ebola['Date'].dt.month
ebola['day'] = ebola['Date'].dt.day
ebola[['Date','year','month','day']].head()

4.2 总结

• pandas 中，datetime64用来表示时间序列类型
• 时间序列类型的数据可以作为行索引，对应的数据类型是DatetimeIndex类型
• datetime64类型可以做差，返回的是timedelta类型
• 转换成时间序列类型后，可以按照时间的特点对数据进行处理
  • 提取日期的各个部分（月，日，星期…)
  • 进行日期运算
  • 按照日期范围取值