pandas教程：Resampling and Frequency Conversion 重采样和频度转换
文章目录
- 11.6 Resampling and Frequency Conversion（重采样和频度转换）
- 1 Downsampling（降采样）
-
-
- Open-High-Low-Close (OHLC) resampling（股价图重取样）
-
- 2 Upsampling and Interpolation（增采样和插值）
- 3 Resampling with Periods（对周期进行重采样）
11.6 Resampling and Frequency Conversion（重采样和频度转换）
重采样（Resampling）指的是把时间序列的频度变为另一个频度的过程。把高频度的数据变为低频度叫做降采样（downsampling），把低频度变为高频度叫做增采样（upsampling）。并不是所有的重采样都会落入上面这几个类型，例如，把W-WED（weekly on Wednesday）变为W-FRI`，既不属于降采样，也不属于增采样。
pandas对象自带resample方法，用于所有的频度变化。resample有一个和groupby类似的API；我们可以用resample来对数据进行分组，然后调用聚合函数（aggregation function）:
import numpy as np
import pandas as pd
rng = pd.date_range('2000-01-01', periods=100, freq='D')
ts = pd.Series(np.random.randn(len(rng)), index=rng)
ts
2000-01-01 0.141136
2000-01-02 0.955511
2000-01-03 -0.334537
2000-01-04 0.927611
2000-01-05 0.522567
2000-01-06 0.843023
2000-01-07 0.108661
2000-01-08 0.805668
2000-01-09 -0.470524
2000-01-10 1.162150
2000-01-11 -0.754087
2000-01-12 -1.846421
2000-01-13 -0.322607
2000-01-14 0.769992
2000-01-15 -0.596838
2000-01-16 0.865629
2000-01-17 -0.394363
2000-01-18 1.050334
2000-01-19 0.203739
2000-01-20 0.112178
2000-01-21 -1.858528
2000-01-22 0.921361
2000-01-23 -1.034003
2000-01-24 -0.319369
2000-01-25 0.626385
2000-01-26 2.319831
2000-01-27 0.640064
2000-01-28 0.762187
2000-01-29 -0.053246
2000-01-30 0.500993
...
2000-03-11 -1.036658
2000-03-12 0.569500
2000-03-13 -0.279623
2000-03-14 -1.593708
2000-03-15 -1.552634
2000-03-16 0.983931
2000-03-17 0.269289
2000-03-18 0.870814
2000-03-19 1.642178
2000-03-20 -0.109097
2000-03-21 -1.891613
2000-03-22 -1.867747
2000-03-23 -0.173888
2000-03-24 0.879418
2000-03-25 0.814583
2000-03-26 -1.683395
2000-03-27 -0.141228
2000-03-28 0.392206
2000-03-29 -1.288983
2000-03-30 1.052897
2000-03-31 -0.297663
2000-04-01 1.050265
2000-04-02 -0.072390
2000-04-03 1.482098
2000-04-04 -0.276297
2000-04-05 0.686525
2000-04-06 1.368484
2000-04-07 0.294756
2000-04-08 1.237246
2000-04-09 1.372567
Freq: D, dtype: float64
ts.resample('M').mean()
2000-01-31 -0.207554
2000-02-29 0.299003
2000-03-31 -0.095402
2000-04-30 -0.146846
Freq: M, dtype: float64
ts.resample('M', kind='period').mean()
2000-01 0.210165
2000-02 -0.051811
2000-03 -0.131131
2000-04 0.793695
Freq: M, dtype: float64
resample是一个灵活且高效的方法，可以用于处理大量的时间序列。
1 Downsampling（降采样）
把数据聚合为规律、低频度是一个很普通的时间序列任务。用于处理的数据不必是有固定频度的；我们想要设定的频度会定义箱界（bin edges），根据bin edges会把时间序列分割为多个片段，然后进行聚合。例如，转换为月度，比如'M'或'BM'，我们需要把数据以月为间隔进行切割。每一个间隔都是半开放的（half-open）；一个数据点只能属于一个间隔，所有间隔的合集，构成整个时间范围（time frame）。当使用resample去降采样数据的时候，有很多事情需要考虑：
- 在每个间隔里，哪一边要闭合
- 怎样对每一个聚合的
bin贴标签，可以使用间隔的开始或结束
为了演示一下，下面用一个一分钟的数据来举例：
rng = pd.date_range('2000-01-01', periods=12, freq='T')
ts = pd.Series(np.arange(12), index=rng)
ts
2000-01-01 00:00:00 0
2000-01-01 00:01:00 1
2000-01-01 00:02:00 2
2000-01-01 00:03:00 3
2000-01-01 00:04:00 4
2000-01-01 00:05:00 5
2000-01-01 00:06:00 6
2000-01-01 00:07:00 7
2000-01-01 00:08:00 8
2000-01-01 00:09:00 9
2000-01-01 00:10:00 10
2000-01-01 00:11:00 11
Freq: T, dtype: int64
假设我们想要按5分钟一个数据块来进行聚合，然后对每一个组计算总和：
ts.resample('5min', closed='right').sum()
1999-12-31 23:55:00 0
2000-01-01 00:00:00 15
2000-01-01 00:05:00 40
2000-01-01 00:10:00 11
Freq: 5T, dtype: int64
我们传入的频度定义了每个bin的边界按5分钟递增。默认，bin的左边界是闭合的，所以00:00值是属于00:00到00:05间隔的。设定closed='right'，会让间隔的右边闭合：
ts.resample('5min', closed='right').sum()
1999-12-31 23:55:00 0
2000-01-01 00:00:00 15
2000-01-01 00:05:00 40
2000-01-01 00:10:00 11
Freq: 5T, dtype: int64
默认，每一个bin的左边的时间戳，会被用来作为结果里时间序列的标签。通过设置label='right'，我们可以使用bin右边的时间戳来作为标签：
ts.resample('5min', closed='right', label='right').sum()
2000-01-01 00:00:00 0
2000-01-01 00:05:00 15
2000-01-01 00:10:00 40
2000-01-01 00:15:00 11
Freq: 5T, dtype: int64
最后，我们可能想要对结果的索引进行位移，比如在右边界减少一秒。想要实现的话，传递一个字符串或日期偏移给loffset：
ts.resample('5min', closed='right',
label='right', loffset='-1s').sum()
1999-12-31 23:59:59 0
2000-01-01 00:04:59 15
2000-01-01 00:09:59 40
2000-01-01 00:14:59 11
Freq: 5T, dtype: int64
我们也可以使用shift方法来实现上面loffset的效果。
Open-High-Low-Close (OHLC) resampling（股价图重取样）
Open-High-Low-Close: 开盘-盘高-盘低-收盘图；股票图；股价图
在经济界，一个比较流行的用法，是对时间序列进行聚合，计算每一个桶（bucket）里的四个值：first（open），last（close），maximum（high），minimal（low），即开盘-收盘-盘高-盘低，四个值。使用ohlc聚合函数可以得到这四个聚合结果：
ts.resample('5min').ohlc()
| open | high | low | close | |
|---|---|---|---|---|
| 2000-01-01 00:00:00 | 0 | 4 | 0 | 4 |
| 2000-01-01 00:05:00 | 5 | 9 | 5 | 9 |
| 2000-01-01 00:10:00 | 10 | 11 | 10 | 11 |
2 Upsampling and Interpolation（增采样和插值）
把一个低频度转换为高频度，是不需要进行聚合的。下面是一个有周数据的DataFrame：
frame = pd.DataFrame(np.random.randn(2, 4),
index=pd.date_range('1/1/2000', periods=2,
freq='W-WED'),
columns=['Colorado', 'Texas', 'New York', 'Ohio'])
frame
| Colorado | Texas | New York | Ohio | |
|---|---|---|---|---|
| 2000-01-05 | 0.138355 | 1.881517 | 0.655367 | 1.496932 |
| 2000-01-12 | -1.125212 | -0.824337 | 0.803721 | -0.672660 |
当我们对这个数据进行聚合的的时候，每个组只有一个值，以及gap（间隔）之间的缺失值。在不使用任何聚合函数的情况下，我们使用asfreq方法将其转换为高频度：
df_daily = frame.resample('D').asfreq()
df_daily
| Colorado | Texas | New York | Ohio | |
|---|---|---|---|---|
| 2000-01-05 | 0.138355 | 1.881517 | 0.655367 | 1.496932 |
| 2000-01-06 | NaN | NaN | NaN | NaN |
| 2000-01-07 | NaN | NaN | NaN | NaN |
| 2000-01-08 | NaN | NaN | NaN | NaN |
| 2000-01-09 | NaN | NaN | NaN | NaN |
| 2000-01-10 | NaN | NaN | NaN | NaN |
| 2000-01-11 | NaN | NaN | NaN | NaN |
| 2000-01-12 | -1.125212 | -0.824337 | 0.803721 | -0.672660 |
假设我们想要用每周的值来填写非周三的部分。这种方法叫做填充（filling）或插值（interpolation），可以使用fillna或reindex方法来实现重采样：
frame.resample('D').ffill()
| Colorado | Texas | New York | Ohio | |
|---|---|---|---|---|
| 2000-01-05 | 0.138355 | 1.881517 | 0.655367 | 1.496932 |
| 2000-01-06 | 0.138355 | 1.881517 | 0.655367 | 1.496932 |
| 2000-01-07 | 0.138355 | 1.881517 | 0.655367 | 1.496932 |
| 2000-01-08 | 0.138355 | 1.881517 | 0.655367 | 1.496932 |
| 2000-01-09 | 0.138355 | 1.881517 | 0.655367 | 1.496932 |
| 2000-01-10 | 0.138355 | 1.881517 | 0.655367 | 1.496932 |
| 2000-01-11 | 0.138355 | 1.881517 | 0.655367 | 1.496932 |
| 2000-01-12 | -1.125212 | -0.824337 | 0.803721 | -0.672660 |
我们可以选择只对一部分的周期进行填写：
frame.resample('D').ffill(limit=2)
| Colorado | Texas | New York | Ohio | |
|---|---|---|---|---|
| 2000-01-05 | 0.138355 | 1.881517 | 0.655367 | 1.496932 |
| 2000-01-06 | 0.138355 | 1.881517 | 0.655367 | 1.496932 |
| 2000-01-07 | 0.138355 | 1.881517 | 0.655367 | 1.496932 |
| 2000-01-08 | NaN | NaN | NaN | NaN |
| 2000-01-09 | NaN | NaN | NaN | NaN |
| 2000-01-10 | NaN | NaN | NaN | NaN |
| 2000-01-11 | NaN | NaN | NaN | NaN |
| 2000-01-12 | -1.125212 | -0.824337 | 0.803721 | -0.672660 |
注意，新的日期索引不能与旧的有重叠：
frame.resample('W-THU').ffill()
| Colorado | Texas | New York | Ohio | |
|---|---|---|---|---|
| 2000-01-06 | 0.138355 | 1.881517 | 0.655367 | 1.496932 |
| 2000-01-13 | -1.125212 | -0.824337 | 0.803721 | -0.672660 |
3 Resampling with Periods（对周期进行重采样）
对周期的索引进行重采样的过程，与之前时间戳的方法相似：
frame = pd.DataFrame(np.random.randn(24, 4),
index=pd.period_range('1-2000', '12-2001',
freq='M'),
columns=['Colorado', 'Texas', 'New York', 'Ohio'])
frame[:5]
| Colorado | Texas | New York | Ohio | |
|---|---|---|---|---|
| 2000-01 | 1.451095 | 0.236027 | -1.114785 | 1.245450 |
| 2000-02 | 1.720449 | -0.724853 | -1.870676 | 1.089338 |
| 2000-03 | 0.411774 | -0.785979 | 1.749024 | 0.164739 |
| 2000-04 | -1.549051 | -0.050722 | 0.002775 | -1.606657 |
| 2000-05 | 1.011998 | 0.149377 | -1.608262 | 0.992927 |
annual_frame = frame.resample('A-DEC').mean()
annual_frame
| Colorado | Texas | New York | Ohio | |
|---|---|---|---|---|
| 2000 | 0.208662 | -0.109971 | -0.233464 | 0.138465 |
| 2001 | -0.401946 | 0.368050 | -0.209196 | -0.155851 |
增采样需要考虑的要多一些，比如在重采样前，选择哪一个时间跨度作为结束，就像asfreq方法那样。convertion参数默认是'start'，但也能用'end'：
# Q-DEC: Quarterly, year ending in December
annual_frame.resample('Q-DEC').ffill()
| Colorado | Texas | New York | Ohio | |
|---|---|---|---|---|
| 2000Q1 | 0.208662 | -0.109971 | -0.233464 | 0.138465 |
| 2000Q2 | 0.208662 | -0.109971 | -0.233464 | 0.138465 |
| 2000Q3 | 0.208662 | -0.109971 | -0.233464 | 0.138465 |
| 2000Q4 | 0.208662 | -0.109971 | -0.233464 | 0.138465 |
| 2001Q1 | -0.401946 | 0.368050 | -0.209196 | -0.155851 |
| 2001Q2 | -0.401946 | 0.368050 | -0.209196 | -0.155851 |
| 2001Q3 | -0.401946 | 0.368050 | -0.209196 | -0.155851 |
| 2001Q4 | -0.401946 | 0.368050 | -0.209196 | -0.155851 |
annual_frame.resample('Q-DEC', convention='end').ffill()
| Colorado | Texas | New York | Ohio | |
|---|---|---|---|---|
| 2000Q4 | 0.208662 | -0.109971 | -0.233464 | 0.138465 |
| 2001Q1 | 0.208662 | -0.109971 | -0.233464 | 0.138465 |
| 2001Q2 | 0.208662 | -0.109971 | -0.233464 | 0.138465 |
| 2001Q3 | 0.208662 | -0.109971 | -0.233464 | 0.138465 |
| 2001Q4 | -0.401946 | 0.368050 | -0.209196 | -0.155851 |
增采样和降采样的规则更严格一些：
- 降采样中，目标频度必须是原频度的子周期（
subperiod） - 增采样中，目标频度必须是原频度的母周期（
superperiod）
如果不满足上面的规则，会报错。主要会影响到季度，年度，周度频度；例如，用Q-MAR定义的时间跨度只与A-MAR, A-JUN, A-SEP, A-DEC进行对齐（line up with）：
annual_frame.resample('Q-MAR').ffill()
| Colorado | Texas | New York | Ohio | |
|---|---|---|---|---|
| 2000Q4 | 0.208662 | -0.109971 | -0.233464 | 0.138465 |
| 2001Q1 | 0.208662 | -0.109971 | -0.233464 | 0.138465 |
| 2001Q2 | 0.208662 | -0.109971 | -0.233464 | 0.138465 |
| 2001Q3 | 0.208662 | -0.109971 | -0.233464 | 0.138465 |
| 2001Q4 | -0.401946 | 0.368050 | -0.209196 | -0.155851 |
| 2002Q1 | -0.401946 | 0.368050 | -0.209196 | -0.155851 |
| 2002Q2 | -0.401946 | 0.368050 | -0.209196 | -0.155851 |
| 2002Q3 | -0.401946 | 0.368050 | -0.209196 | -0.155851 |