官方网址:https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.resample.html
目的
该篇文章主要以resample的作用、参数配置解释,以及它能搭配什么参数进行使用的编写。
会按照以下进行讲解
1、resample能实现什么效果
2、resample有哪些参数
3、常用的resample分类实例
1、resample能实现什么效果
resample能搭配各种不同时间维度,进行分组聚合。针对分组情况你可以搭配使用max
、min
、sum
、mean
等使用。
它可以搭配三种场景使用
groupby
Group by mapping, function, label, or list of labels.
Series.resample
Resample a Series.
DataFrame.resample
Resample a DataFrame
实例
假设我有一批数据,有2行,一行时间序列,一行具体数字,以DataFrame
展示。具体如下。
import pandas as pd
rng = pd.date_range("1/1/2012", periods=100, freq="D")
ts = pd.Series(np.random.randint(0, 500, len(rng)), index=rng)
ts = ts.reset_index(name='num')
注:生成的是2012-01-01 至 2012-04-09年的数据。
需求
现在有一个需求,想要求不同时间维度下的数据之和,例如每周、每月。
完成需求
首先要将日期型字段设为索引,这一步是为了搭配resample使用,它只能配合datetimeindex
ts = ts.set_index('index')
ts.head()
-----------------------
num
index
2012-01-01 104
2012-01-02 249
2012-01-03 177
2012-01-04 262
2012-01-05 318
-------------------------
ts.index
-------------------------
DatetimeIndex(['2012-01-01', '2012-01-02', '2012-01-03', '2012-01-04',
'2012-01-05', '2012-01-06', '2012-01-07', '2012-01-08',
'2012-01-09', '2012-01-10', '2012-01-11', '2012-01-12',
'2012-01-13', '2012-01-14', '2012-01-15', '2012-01-16',
'2012-01-17', '2012-01-18', '2012-01-19', '2012-01-20',
'2012-01-21', '2012-01-22', '2012-01-23', '2012-01-24',
'2012-01-25', '2012-01-26', '2012-01-27', '2012-01-28',
'2012-01-29', '2012-01-30', '2012-01-31', '2012-02-01',
'2012-02-02', '2012-02-03', '2012-02-04', '2012-02-05',
'2012-02-06', '2012-02-07', '2012-02-08', '2012-02-09',
'2012-02-10', '2012-02-11', '2012-02-12', '2012-02-13',
'2012-02-14', '2012-02-15', '2012-02-16', '2012-02-17',
'2012-02-18', '2012-02-19', '2012-02-20', '2012-02-21',
'2012-02-22', '2012-02-23', '2012-02-24', '2012-02-25',
'2012-02-26', '2012-02-27', '2012-02-28', '2012-02-29',
'2012-03-01', '2012-03-02', '2012-03-03', '2012-03-04',
'2012-03-05', '2012-03-06', '2012-03-07', '2012-03-08',
'2012-03-09', '2012-03-10', '2012-03-11', '2012-03-12',
'2012-03-13', '2012-03-14', '2012-03-15', '2012-03-16',
'2012-03-17', '2012-03-18', '2012-03-19', '2012-03-20',
'2012-03-21', '2012-03-22', '2012-03-23', '2012-03-24',
'2012-03-25', '2012-03-26', '2012-03-27', '2012-03-28',
'2012-03-29', '2012-03-30', '2012-03-31', '2012-04-01',
'2012-04-02', '2012-04-03', '2012-04-04', '2012-04-05',
'2012-04-06', '2012-04-07', '2012-04-08', '2012-04-09'],
dtype='datetime64[ns]', name='index', freq=None)
-
每周
# 按照周进行求和 ts.resample('7D').sum() -------------------------- num index 2012-01-01 1817 2012-01-08 2460 2012-01-15 2070 2012-01-22 2104 2012-01-29 1812 2012-02-05 2008 2012-02-12 1949 2012-02-19 2092 2012-02-26 2527 2012-03-04 1934 2012-03-11 1856 2012-03-18 1546 2012-03-25 1206 2012-04-01 1865 2012-04-08 441
-
每月
# 按照月进行求和 ts.resample('M').sum() -------------------------- num index 2012-01-31 9552 2012-02-29 8233 2012-03-31 7596 2012-04-30 2306
2、resample有哪些参数
2.1 resample函数本身参数
Signature:
ts.resample(
rule,
axis=0,
closed: Union[str, NoneType] = None,
label: Union[str, NoneType] = None,
convention: str = 'start',
kind: Union[str, NoneType] = None,
loffset=None,
base: int = 0,
on=None,
level=None,
)
Docstring:
Resample time-series data.
参数 | 说明 |
---|---|
freq | 表示重采样频率,例如‘M'、‘5min',Second(15) |
how='mean' | 用于产生聚合值的函数名或数组函数,例如 ‘mean'、‘ohlc'、np.max等,默认是‘mean',其他常用的值 有:‘first'、‘last'、‘median'、‘max'、‘min' |
axis=0 | 默认是纵轴,横轴设置axis=1 |
fill_method = None | 升采样时如何插值,比如‘ffill'、‘bfill'等 |
closed = ’right' | 在降采样时,各时间段的哪一段是闭合的,‘right'或‘left',默认‘right' |
label= ‘right' | 在降采样时,如何设置聚合值的标签,例如,9:30-9:35会被标记成9:30还是9:35, 默认9:35 |
loffset = None | 面元标签的时间校正值,比如‘-1s'或Second(-1)用于将聚合标签调早1秒 |
limit=None | 在向前或向后填充时,允许填充的最大时期数 |
kind = None | 聚合到时期(‘period')或时间戳(‘timestamp'),默认聚合到时间序列的索引类型 |
convention = None | 当重采样时期时,将低频率转换到高频率所采用的约定(start或end)。默认‘end' |
函数参数如果需细致体会,可以自己敲代码实际应用体会,也可以按shift+tab
看函数描述当中的实例情况,这儿不过多赘述。
2.2 freq重采样参数
freq重采样频率有非常多的参数,这儿罗列一些网络收集到的。
别名 | 偏移量类型 | 说明 |
---|---|---|
D | Day | 每日历日 |
B | BusinessDay | 每日工作日(去节假日) |
H | Hour | 每小时 |
T/min | Minute | 每分钟 |
S | Second | 每秒钟 |
M | MonthEnd | 每月最后一个日历日 |
BM | BusinessMonthEnd | 每月最后一个工作日 |
Q-JAN、Q-FRB | QuarterEnd | 对于以指定月份结束的年度, 每季度最后一月的最后一个日历日 |
A-JAN、A-FEB | YearEnd | 每年指定月份的最后一个日历日 |
3、常用的resample分类实例
重点还是观察官方示例,简单罗列以下觉得比较重要的。
每十年的1月1日
.resample('10AS')
显示为以每十年的12月31日
.resample('10A')
days = pd.date_range('1/1/2000', periods=4, freq='D')
>>> d2 = {'price': [10, 11, 9, 13, 14, 18, 17, 19],
... 'volume': [50, 60, 40, 100, 50, 100, 40, 50]}
>>> df2 = pd.DataFrame(d2,
... index=pd.MultiIndex.from_product([days,
... ['morning',
... 'afternoon']]
... ))
>>> df2
price volume
2000-01-01 morning 10 50
afternoon 11 60
2000-01-02 morning 9 40
afternoon 13 100
2000-01-03 morning 14 50
afternoon 18 100
2000-01-04 morning 17 40
afternoon 19 50
>>> df2.resample('D', level=0).sum()
price volume
2000-01-01 21 110
2000-01-02 22 140
2000-01-03 32 150
2000-01-04 36 90