0、需要的库
import pandas as pd
import numpy as np
import matploylib.pyplot as plt
1、创建对象
Series：通过list对象创建，默认带整数索引
DataFrame： a、通过numpy array，索引和列标签
b、通过能被转化为序列的字典对象
dates = pd.date_range('20130101', periods=6)
df = pd.DataFrame(np.random.randn(6,4), index=dates, columns=list('ABCD'))
df2 = pd.DataFrame({'A':1.,
'B':pd.Timestamp('20130102'),
'C':pd.Series(1,index=list(range(4)),dtype='float32'),
'D':np.array([3]*4,dtype='int32'),
'E':pd.Categorical(["test","train","test","train"]),
'F':'foo'})
df2.dtypes
2、查看数据
a、看frame前、后几行；
b、查看索引，列，值；
c、查看统计信息；转置；
d、按轴排序；按值排序；
df2.head(); df2.tail(3)
df.index; df.columns; df.values
df.T; df.describe()
df.sort_index(axis=1),df.sort_values('B')
3、选择数据
建议使用pandas优化的方式： .at, .iat, .loc, .iloc和 .ix
a、常规获取，直接使用[]：选择单列，返回Series；对行切片，根据索引或者行号；
b、通过标签获取loc或者at：标签切片，以','分隔选择行列；
c、通过位置获取iloc：通过行列号，已','分隔选择行列；
d、布尔索引：通过单独的列选择，通过where操作，使用isin方法过滤；
e、设置：设置一个新的列，通过标签设置新的值，通过位置设置新的值，通过np数组设置一组新值，通过where设置新值；
df['A'];df.A;df[1:3];df['2013-01-01':'2013-01-04']
df.loc[dates[0]];df.loc[:,['A','B']];df.loc['20130102',['A','B']]
df.loc[dates[0],'A']; df.at[dates[0], 'A']
df.iloc[3];df.iloc[3:5,0:2];df.iloc[[1,2,4],[0,2]]
df.iloc[1:3,:];df.iloc[:,1:3];df.iloc[1,1];df.iat[1,1]
df[df.A>0];df[df>0]
df3 = df.copy()
df3['E'] = ['one','one','two','three','four','three']
df3[df3['E'].isin(['two','four'])]
s1 = pd.Series([1,2,3,4,5,6],index=pd.date_range('20130102',periods=6))
df['F'] = s1
df.at[dates[0],'A'] = 0;df.iat[0,1]=0;
df.loc[:,'D']=np.array([5]*len(df));
df3 = df.copy();df3[df3>0]=-df3;
4、处理缺失值
pandas使用np.nan来代替缺失值，不会用于计算
a、reindex方法：对指定轴索引修改/增加/删除，返回拷贝；
b、去掉包含缺失值的行：dropna；
c、对缺失值填充：fillna；
d、对数据进行布尔值填充：isnull；
df1 = df.reindex(index=dates[0:4], columns=list(df.columns) + ['E'])
df1.loc[dates[0]:dates[1],'E'] = 1
df1.dropna(how='any')
df1.fillna(value='5')
pd.isnull(df1)
5、相关函数操作
a、执行统计，可在不同的轴上执行；
b、Apply函数，对数据应用函数；
c、直方图；
d、字符串方法；
df.mean();df.mean(1)
s = pd.Series([1,3,5,np.nan,6,8],index=dates).shift(2)
df.sub(s, axis='index')
df.apply(np.cumsum);df.apply(lambda x:x.max()-x.min())
s = pd.Series(np.random.randint(0,7,size=10));s.value_counts()
s = pd.Series(['A','B','C','Aaba','Baca',np.nan,'CABA','dog','cat'])
s.str.lower()
6、合并
a、Concat函数；
b、Join操作：merge函数；
c、Append函数；
df = pd.DataFrame(np.random.randn(10,4))
pieces = [df[:3], df[3:7], df[7:]]
pd.concat(pieces)
left = pd.DataFrame({'key':['foo','foo'], 'lval':[1,2]})
right = pd.DataFrame({'key':['foo','foo'], 'rval':[4,5]})
pd.merge(left, right, on='key')
df = pd.DataFrame(np.random.rand(8,4),columns=['A','B','C','D'])
s = df.iloc[3]
df.append(s, ignore_index=True)
7、分组
通常包括以下几个步骤：
a、splitting：按照规则将数据分为不同的组；
b、applying：对每组数据分别执行一个函数；
c、combining：将结果组合到一个数据结构中；
分组：对每个分组执行一个函数；
df = pd.DataFrame({'A' : ['foo', 'bar', 'foo', 'bar', 'foo', 'bar', 'foo', 'foo'],
'B' : ['one', 'one', 'two', 'three', 'two', 'two', 'one', 'three'],
'C' : np.random.randn(8),
'D' : np.random.randn(8)})
df.groupby('A').sum()
df.groupby(['A','B']).sum()
8、Reshaping
a、Stack方法：比如多列变一行
b、Pivot Tables：数据透视表
tuples = list(zip(*[['bar', 'bar', 'baz', 'baz', 'foo', 'foo', 'qux', 'qux'],['one', 'two', 'one', 'two','one', 'two', 'one', 'two']]))
index = pd.MultiIndex.from_tuples(tuples, names=['first', 'second'])
df = pd.DataFrame(np.random.randn(8, 2), index=index, columns=['A', 'B'])
df2 = df[:4]
stacked = df2.stack();stacked.unstack()
stacked.unstack(0);stacked.unstack(1)
df = pd.DataFrame({'A' : ['one', 'one', 'two', 'three'] * 3,
'B' : ['A', 'B', 'C'] * 4,
'C' : ['foo', 'foo', 'foo', 'bar', 'bar', 'bar'] * 2,
'D' : np.random.randn(12),
'E' : np.random.randn(12)})
pd.pivot_table(df, values='D',index=['A','B'],columns='C')
9、时间序列
金融领域用的很多
a、重采样；
b、时区表示；
c、时间跨度的转换，时间和时间戳之间的转换；
rng = pd.date_range('1/1/2012', periods=100, freq='S')
ts = pd.Series(np.random.randint(0, 500, len(rng)), index=rng)
ts.resample('5Min', how='sum')
rng = pd.date_range('3/6/2012 00:00', periods=5, freq='D')
ts = pd.Series(np.random.randn(len(rng)), rng)
ts_utc = ts.tz_localize('UTC')
ts_utc.tz_convert('US/Eastern')
rng = pd.date_range('1/1/2012', periods=5, freq='M')
ts = pd.Series(np.random.randn(len(rng)), index=rng)
ps = ts.to_period();ps.to_timestamp()
prng = pd.period_range('1990Q1', '2000Q4', freq='Q-NOV')
ts = pd.Series(np.random.randn(len(prng)), prng)
ts.index = (prng.asfreq('M', 'e') + 1).asfreq('H', 's') + 9
ts.head()
10、Categorical类型
a、原始数据转化为分类类型；
b、分类类型数据重命名；
c、对类别进行排序，增加缺失类型；
d、排序，按照类别的顺序；
df = pd.DataFrame({"id":[1,2,3,4,5,6],
"raw_grade":['a','b','b','a','a','e']})
df["grade"] = df["raw_grade"].astype("category")
df["grade"].cat.categories = ["very good", "good", "very bad"]
df["grade"] = df["grade"].cat.set_categories(["very bad", "bad", "medium", "good", "very good"])
df.sort_values(by="grade")
df.groupby("grade").size()
11、画图
方便的画出DataFrame中的列和标签
ts = pd.Series(np.random.randn(1000), index=pd.date_range('1/1/2000', periods=1000))
ts = ts.cumsum()
ts.plot()
df = pd.DataFrame(np.random.randn(1000,4), index=ts.index, columns=['A','B','C','D'])
df = df.cumsum()
plt.figure();df.plot();plt.legend(loc='best')
12、输入输出
df.to_csv('H:/Document/python/python练习/利用python进行数据分析/foo.csv')
pd.read_csv('foo.csv')
df.to_hdf('foo.h5','df')
pd.read_hdf('foo.h5','df')
df.to_excel('foo.xlsx',sheet_name='Sheet1')
pd.read_excel('foo.xlsx','Sheet1',index_col=None,na_values=['NA'])