python pandas 处理日期数据

数据类型及操作

Python 标准库的datetime

datetime模块中的datetime,time，calendar等类都可以用来存储时间类型以及一些其他转换与运算

for example:

from datetime import datetime

now=datetime.now()

print now  

#2016-09-11 16:02:35.788000

delta=datetime(2010,2,2)-datetime(2010,2,1)

#2016-09-12 16:04:01.845000

ddatetime的对象见的减法运算会得到一个timedelta对象,表示一个时间段

datetime 对象与它所保存的字符格式时间戳之间可以相互转化，str()函数可用，更推荐datetime.strptime()。这2两个方法之间可以相互转换

str(now)

now.strftime('%Y-%m-%d')

print now.strftime('%Y-%m-%d %H:%M:%S %Z')

strptime  and strptime ---------------------------

datetiem.strptime('2001-10-1','%Y-%m-%d') # can not be strftime

将格式为datetime 转换为 TimeStamp

pd.to_datetime(now)

pandas的时间序列

dates=[ datetime(2001,1,1) , datetime(2001,1,2) , datetime(2001,1,3)]

ts=Series(np.random.randn(3) , index=dates)

type(ts)   ts.index     ts.index[0]   ts['2011']  ts['2011-1']

日期的范围，频率，以及移动

pandas的时间序列一般被默认为不规则的，即没有固定的频率，但出于分析的需要，我们可以通过插值的方式将序列转换为固定频率的格式，可以使用快捷方式 .resample(rule)

>>>ts

2011-01-010.362289

2011-01-020.586695

2011-01-03-0.154522

2011-01-060.222958

dtype: float64

>>>ts.resample('D')

2011-01-010.362289

2011-01-020.586695

2011-01-03-0.154522

2011-01-04 NaN

2011-01-0N NaN

2011-01-060.222958

Freq： D，dtype: float64

生成日期范围

pd.date_range()可用于生成指定长度的DateIndex。 参数可以是起始结束日期，或者只有一个日期，加一个时间段参数。日期是可以包含的

pd.date_range('20100101','20100110')

pd.date_range(start='20100101',periods=10)

pd.date_range(end='20100101',periods=10)

频率和日期偏移量

print pd.date_range("00:00","12:00",freq='20s')

移动(超前和滞后)数据 Series和DataFrame都有一个.shift()方法执行单纯的移动操作，index维持不变

ts.shift(2) ts.shift(-2) 会出现NaN 值前后移动

移动 index

ts.shift(2,freq='D')  ts.shift(-2,freg='D')

Series(np.random.randn(5),index=pd.period_range('201001','201005',freq='M'))

改变日期的频率

ts.asfreq('M',how='start')

---------------------------------------------------------------------------------------------------------------

# -*- coding:utf-8 -*-

import pandas as pd
import numpy as np
from numpy.random import seed
from numpy.random import rand
from numpy.random import random_integers




seed(42)
df=pd.DataFrame(
                {
                 'Weather':['cold','hot','cold','hot','cold','hot','cold'],
                 'Food':['soup','soup','icecream','chocolate','icecream','icecream','soup'],
                 'Price':10*rand(7),
                 'Number':random_integers(1,9,size=(7,))
                }
               )
print df
print pd.pivot_table(df,cols=['Food'],aggfunc=np.sum)


print "Concat Back together\n",pd.concat([df[:3],df[5:]])


print "Append rows\n",df[:3].append(df[5:])


dest=pd.read_csv('data.csv')
print 'dest\n',dest
#print pd.isnull(dest).sum()


print dest[dest.columns[-1]].fillna(3)