利用Python进行数据分析——时间序列[十](1) .

转自：http://blog.csdn.net/ssw_1990/article/details/26612573

 

不管在哪个领域中（如金融学、经济学、生态学、神经科学、物理学等），时间序列（time series）数据都是一种重要的结构化数据形式。在半个时间点观察或测量到的任何事物都可以形成一段时间序列。很多时间序列是固定频率的，也就是说，数据点是根据某种规律定期出现的（比如15秒、每5分钟、每月出现一次）。时间序列也可以是不定期的。时间序列数据的意义取决于具体的应用场景，主要有以下几种：

• 时间戳（timestamp），特定的时刻。
• 固定时期（period），如2007年1月或2010年全年。
• 时间间隔（interval），由起始和结束时间戳表示。时期（period）可以被看做间隔（interval）的特例。
• 实验或过程时间，每个时间点都是相对于特定起始时间的一个度量。例如，从放入烤箱时起，每秒钟饼干的直径。

许多技术都可用于处理实验型时间序列，其索引可能是一个整数或浮点数（表示从实验开始算起已经过去的时间）。最简单也最常见的时间序列都是用时间戳进行索引的。

pandas提供了一组标准的时间序列处理工具和数据算法。因此，你可以高效处理非常大的时间序列，轻松地进行切片/切块、聚合、对定期/不定期的时间序列进行重采样等。可能你已经猜到了，这些工具中大部分都对金融和经济数据尤为有用，但你当然也可以用它们来分析服务器日志数据。

说明：

scikits.timeseries库已经停止更新。

1、日期和时间数据类型及工具

Python标准库包含用于日期（date）和时间（time）数据的数据类型，而且还有日历方面的功能。我们主要会用到datetime、time以及calendar模块。datetime.datetime（也可以简写为datetime）是用得最多的数据类型：

In [3]: from datetime import datetime

In [4]: now = datetime.now()

In [5]: now
Out[5]: datetime.datetime(2014, 5, 22, 19, 42, 56, 744055)

In [6]: now.year, now.month, now.day
Out[6]: (2014, 5, 22)

In [3]: from datetime import datetime

In [4]: now = datetime.now()

In [5]: now
Out[5]: datetime.datetime(2014, 5, 22, 19, 42, 56, 744055)

In [6]: now.year, now.month, now.day
Out[6]: (2014, 5, 22)

datetime以毫秒形式存储日期和时间。datetime.timedelta表示两个datetime对象之间的时间差：

In [7]: delta = datetime(2011, 1, 7) -datetime(2008, 6, 24, 8, 15)

In [8]: delta
Out[8]: datetime.timedelta(926, 56700)

In [9]: delta.days
Out[9]: 926

In [10]: delta.seconds
Out[10]: 56700

In [7]: delta = datetime(2011, 1, 7) -datetime(2008, 6, 24, 8, 15)

In [8]: delta
Out[8]: datetime.timedelta(926, 56700)

In [9]: delta.days
Out[9]: 926

In [10]: delta.seconds
Out[10]: 56700

可以给datetime对象加上（或减去）一个或多个timedelta，这样会产生一个新对象：

In [11]: from datetime import timedelta

In [12]: start = datetime(2011, 1, 7)

In [13]: start + timedelta(12)
Out[13]: datetime.datetime(2011, 1, 19, 0, 0)

In [14]: start - 2 * timedelta(12)
Out[14]: datetime.datetime(2010, 12, 14, 0, 0)

In [11]: from datetime import timedelta

In [12]: start = datetime(2011, 1, 7)

In [13]: start + timedelta(12)
Out[13]: datetime.datetime(2011, 1, 19, 0, 0)

In [14]: start - 2 * timedelta(12)
Out[14]: datetime.datetime(2010, 12, 14, 0, 0)

2、字符串和datetime的相互转换

利用str或strftime方法（传入一个格式化字符串），datetime对象和pandas的Timestamp对象可以被格式化为字符串：

In [15]: stamp = datetime(2011, 1, 3)

In [16]: str(stamp)
Out[16]: '2011-01-03 00:00:00'

In [17]: stamp.strftime('%Y-%m-%d')
Out[17]: '2011-01-03'

In [15]: stamp = datetime(2011, 1, 3)

In [16]: str(stamp)
Out[16]: '2011-01-03 00:00:00'

In [17]: stamp.strftime('%Y-%m-%d')
Out[17]: '2011-01-03'

datetime.strptime也可以用这些格式化编码将字符串转换为日期：

In [18]: value = '2011-01-03'

In [19]: datetime.strptime(value, '%Y-%m-%d')
Out[19]: datetime.datetime(2011, 1, 3, 0, 0)

In [20]: datestrs = ['7/6/2011', '8/6/2011']

In [21]: [datetime.strptime(x, '%m/%d/%Y') for x in datestrs]
Out[21]: [datetime.datetime(2011, 7, 6, 0, 0), datetime.datetime(2011, 8, 6, 0, 0)]

In [18]: value = '2011-01-03'

In [19]: datetime.strptime(value, '%Y-%m-%d')
Out[19]: datetime.datetime(2011, 1, 3, 0, 0)

In [20]: datestrs = ['7/6/2011', '8/6/2011']

In [21]: [datetime.strptime(x, '%m/%d/%Y') for x in datestrs]
Out[21]: [datetime.datetime(2011, 7, 6, 0, 0), datetime.datetime(2011, 8, 6, 0, 0)]

datetime.strptime是通过已知格式进行日期解析的最佳方式。但是每次都要编写格式定义是很麻烦的事情，尤其是对于一些常见的日期格式。这种情况下，你可以用dateutil这个第三方包中的parser.parse方法：

In [22]: from dateutil.parser import parse

In [23]: parse('2011-01-03')
Out[23]: datetime.datetime(2011, 1, 3, 0, 0)

In [22]: from dateutil.parser import parse

In [23]: parse('2011-01-03')
Out[23]: datetime.datetime(2011, 1, 3, 0, 0)

dateutil可以解析几乎所有人类能够理解的日期表示形式：

In [24]: parse('Jan 31, 1997 10:45 PM')
Out[24]: datetime.datetime(1997, 1, 31, 22, 45)

In [24]: parse('Jan 31, 1997 10:45 PM')
Out[24]: datetime.datetime(1997, 1, 31, 22, 45)

在国际通用的格式中，日通常出现在月的前面，传入dayfirst=True即可解决这个问题：

In [25]: parse('6/12/2011', dayfirst=True)
Out[25]: datetime.datetime(2011, 12, 6, 0, 0)

In [25]: parse('6/12/2011', dayfirst=True)
Out[25]: datetime.datetime(2011, 12, 6, 0, 0)

pandas通常是用于处理成组日期的，不管这些日期是DataFrame的轴索引还是列。to_datetime方法可以解析多种不同的日期表示形式。对标准日期格式（如ISO8601）的解析非常快。

In [26]: datestrs
Out[26]: ['7/6/2011', '8/6/2011']

In [27]: pd.to_datetime(datestrs)
Out[27]:
<class 'pandas.tseries.index.DatetimeIndex'>
[2011-07-06, 2011-08-06]
Length: 2, Freq: None, Timezone: None

In [26]: datestrs
Out[26]: ['7/6/2011', '8/6/2011']

In [27]: pd.to_datetime(datestrs)
Out[27]: 
<class 'pandas.tseries.index.DatetimeIndex'>
[2011-07-06, 2011-08-06]
Length: 2, Freq: None, Timezone: None

它还可以处理缺失值（None、空字符串等）：

In [28]: idx = pd.to_datetime(datestrs + [None])

In [30]: idx
Out[30]:
<class 'pandas.tseries.index.DatetimeIndex'>
[2011-07-06, ..., NaT]
Length: 3, Freq: None, Timezone: None

In [31]: idx[2]
Out[31]: NaT

In [32]: pd.isnull(idx)
Out[32]: array([False, False,  True], dtype=bool)

In [28]: idx = pd.to_datetime(datestrs + [None])

In [30]: idx
Out[30]: 
<class 'pandas.tseries.index.DatetimeIndex'>
[2011-07-06, ..., NaT]
Length: 3, Freq: None, Timezone: None

In [31]: idx[2]
Out[31]: NaT

In [32]: pd.isnull(idx)
Out[32]: array([False, False,  True], dtype=bool)

说明：

NaT（Not a Time）是pandas中时间戳数据的NA值。

警告：

dateutil.parser是一个实用但不完美的工具。比如，它会把一些原本不是日期的字符串认作是日期（比如“42”会被解析为2042年的今天）。

datetime对象还有一些特定于当前环境（位于不同国家或使用不同语言的系统）的格式化选项。例如，德语或法语系统所用的月份简写就与英国系统所用的不同。