不管在哪个领域中(如金融学、经济学、生态学、神经科学、物理学等),时间序列(time series)数据都是一种重要的结构化数据形式。在半个时间点观察或测量到的任何事物都可以形成一段时间序列。很多时间序列是固定频率的,也就是说,数据点是根据某种规律定期出现的(比如15秒、每5分钟、每月出现一次)。时间序列也可以是不定期的。时间序列数据的意义取决于具体的应用场景,主要有以下几种:
- 时间戳(timestamp),特定的时刻。
- 固定时期(period),如2007年1月或2010年全年。
- 时间间隔(interval),由起始和结束时间戳表示。时期(period)可以被看做间隔(interval)的特例。
- 实验或过程时间,每个时间点都是相对于特定起始时间的一个度量。例如,从放入烤箱时起,每秒钟饼干的直径。
许多技术都可用于处理实验型时间序列,其索引可能是一个整数或浮点数(表示从实验开始算起已经过去的时间)。最简单也最常见的时间序列都是用时间戳进行索引的。
pandas提供了一组标准的时间序列处理工具和数据算法。因此,你可以高效处理非常大的时间序列,轻松地进行切片/切块、聚合、对定期/不定期的时间序列进行重采样等。可能你已经猜到了,这些工具中大部分都对金融和经济数据尤为有用,但你当然也可以用它们来分析服务器日志数据。
说明:
scikits.timeseries库已经停止更新。
1、日期和时间数据类型及工具
Python标准库包含用于日期(date)和时间(time)数据的数据类型,而且还有日历方面的功能。我们主要会用到datetime、time以及calendar模块。datetime.datetime(也可以简写为datetime)是用得最多的数据类型:
- In [3]: from datetime import datetime
-
- In [4]: now = datetime.now()
-
- In [5]: now
- Out[5]: datetime.datetime(2014, 5, 22, 19, 42, 56, 744055)
-
- In [6]: now.year, now.month, now.day
- Out[6]: (2014, 5, 22)
datetime以毫秒形式存储日期和时间。datetime.timedelta表示两个datetime对象之间的时间差:
- In [7]: delta = datetime(2011, 1, 7) -datetime(2008, 6, 24, 8, 15)
-
- In [8]: delta
- Out[8]: datetime.timedelta(926, 56700)
-
- In [9]: delta.days
- Out[9]: 926
-
- In [10]: delta.seconds
- Out[10]: 56700
可以给datetime对象加上(或减去)一个或多个timedelta,这样会产生一个新对象:
- In [11]: from datetime import timedelta
-
- In [12]: start = datetime(2011, 1, 7)
-
- In [13]: start + timedelta(12)
- Out[13]: datetime.datetime(2011, 1, 19, 0, 0)
-
- In [14]: start - 2 * timedelta(12)
- Out[14]: datetime.datetime(2010, 12, 14, 0, 0)
2、字符串和datetime的相互转换
利用str或strftime方法(传入一个格式化字符串),datetime对象和pandas的Timestamp对象可以被格式化为字符串:
- In [15]: stamp = datetime(2011, 1, 3)
-
- In [16]: str(stamp)
- Out[16]: '2011-01-03 00:00:00'
-
- In [17]: stamp.strftime('%Y-%m-%d')
- Out[17]: '2011-01-03'
datetime.strptime也可以用这些格式化编码将字符串转换为日期:
- In [18]: value = '2011-01-03'
-
- In [19]: datetime.strptime(value, '%Y-%m-%d')
- Out[19]: datetime.datetime(2011, 1, 3, 0, 0)
-
- In [20]: datestrs = ['7/6/2011', '8/6/2011']
-
- In [21]: [datetime.strptime(x, '%m/%d/%Y') for x in datestrs]
- Out[21]: [datetime.datetime(2011, 7, 6, 0, 0), datetime.datetime(2011, 8, 6, 0, 0)]
datetime.strptime是通过已知格式进行日期解析的最佳方式。但是每次都要编写格式定义是很麻烦的事情,尤其是对于一些常见的日期格式。这种情况下,你可以用dateutil这个第三方包中的parser.parse方法:
- In [22]: from dateutil.parser import parse
-
- In [23]: parse('2011-01-03')
- Out[23]: datetime.datetime(2011, 1, 3, 0, 0)
dateutil可以解析几乎所有人类能够理解的日期表示形式:
- In [24]: parse('Jan 31, 1997 10:45 PM')
- Out[24]: datetime.datetime(1997, 1, 31, 22, 45)
在国际通用的格式中,日通常出现在月的前面,传入dayfirst=True即可解决这个问题:
- In [25]: parse('6/12/2011', dayfirst=True)
- Out[25]: datetime.datetime(2011, 12, 6, 0, 0)
pandas通常是用于处理成组日期的,不管这些日期是DataFrame的轴索引还是列。to_datetime方法可以解析多种不同的日期表示形式。对标准日期格式(如ISO8601)的解析非常快。
- In [26]: datestrs
- Out[26]: ['7/6/2011', '8/6/2011']
-
- In [27]: pd.to_datetime(datestrs)
- Out[27]:
- <class 'pandas.tseries.index.DatetimeIndex'>
- [2011-07-06, 2011-08-06]
- Length: 2, Freq: None, Timezone: None
它还可以处理缺失值(None、空字符串等):
- In [28]: idx = pd.to_datetime(datestrs + [None])
-
- In [30]: idx
- Out[30]:
- <class 'pandas.tseries.index.DatetimeIndex'>
- [2011-07-06, ..., NaT]
- Length: 3, Freq: None, Timezone: None
-
- In [31]: idx[2]
- Out[31]: NaT
-
- In [32]: pd.isnull(idx)
- Out[32]: array([False, False, True], dtype=bool)
说明:
NaT(Not a Time)是pandas中时间戳数据的NA值。
警告:
dateutil.parser是一个实用但不完美的工具。比如,它会把一些原本不是日期的字符串认作是日期(比如“42”会被解析为2042年的今天)。
datetime对象还有一些特定于当前环境(位于不同国家或使用不同语言的系统)的格式化选项。例如,德语或法语系统所用的月份简写就与英国系统所用的不同。