Python之pandas笔记
Python之pandas笔记
一、创建
1.创建 Series (一维，带标签的数组)
t = pd.Series(np.arange(10), index= list(string.ascii_uppercase[:10]))
2.创建 DataFrame (二维，Series的容器 )
t = pd.DataFrame(np.arange(6).reshape((2,3)), index=list('ab'),columns=list('csr') )
3.DataFrame的基础属性
#行列数
print(tt2.shape)
#列数据类型
print(tt2.dtypes)
#数据维度
print(tt2.ndim)
#行索引
print(tt2.index)
#列索引
print(tt2.columns)
#对象值（二维数组）
print(tt2.values)
4.DataFrame整体情况的查询
#显示头部的几行默认五行
print(tt2.head(2))
#显示末尾几行 默认五
print(tt2.tail())
显示相关的信息
print(tt2.info())
快速的纵隔统计记过： （计数，均值，标准差，最大值，四分位数， 最小值）
print(tt2.describe())
5.DataFrame 对数据排序 （升序或者降序）
a) 升序 d1 = dogname.sort_values(by="Count_AnimalName")
b) 降序 d2 = dogname.sort_values(by="Count_AnimalName", ascending=False)
6.取行取列操作
数字取行， 字符串取列 d2[:20]['Row_Labels']
df.loc方法：（通过标签索引行数据）
print(csv.loc[['a','b'],['w','r']])
遍历的形式，包括后面的r列
print(csv.loc[['a','b'],'w':'r'])
df.iloc方法 （通过位置获取行数据）
print(csv.iloc[[0,2],[2]])
遍历的形式，不包括后面的3行
print(csv.iloc[0:3,[2,3]])
7.pandas布尔值类型条件
多个条件可以 通过 & 链接
dogname[(dogname['Count_AnimalName']>50) & (dogname['Row_Labels'].str.len()>4)]
8.对nan的一些操作
a) 判断是否为 nan ： pd.isnull(t) 或者 pd.notnull(t)
b) 删除nan所在行列: t.dropna(axis=0, how='any', inplace=False) how:any/all（全为nan删除） inplace是否直接替换
c) 填充nan： t.fillna(t.mean())
d) 将0改为nan：t[t==0] = np.nan
9.对于过长的DataFrame与numpy使用print打印时，全部显示（不会出现省略号）
a) 对于DataFrame：
1）显示所有的列： pd.set_option('display.max_columns', None)
2) 显示所有的行： pd.set_option('display.max_rows', None)
b)对于numpy：
numpy.set_printoptions(threshold = np.inf)
#若想不以科学计数显示： numpy.set_printoptions(suppress = True)
10.数组合并之join / merge
a) join:默认情况下把行索引相同的数据合并到一起：
df1.join(df2) 注意：根据前面的行列进行合并，假如两个df制定了列，则不可有重复列名
b) merge：根据列索引进行合并
1)默认为内连接（交集）： df1.merge(df2, on='c') （假如都合适，22会出现四行数据）
2）merge outer外连接（并集）：df1.merge(df2, on='c', how='outer')把除了交际以外的数据，显示c有的那一个df的数据，没有的补充nan
3）merge left 左连接(根据左边的df)
4）merge right右连接（根据右边的df
11.分组与聚合
1) grouped = df.groupby(by='列索引') #根据此列数据进行分组
2) grouped 是一个DataFrameGroupBy对象，是可迭代的
3) grouped中的每一个元素是一个元组
4） 元组里面是 （索引（分组的值），分组后的DataFrame）
12.DataFrameGroupBy 对象有很多经过优化的方法
13.简单的索引操作
1) 获取index: df.index
2) 指定index: df.index = ['x', 'y']
3) 重新设置index: df.reindex(list("abc")) #这个操作类似查询，在df中取出有"abc"列的数据，没有的nan填充
4) 指定索引(index)为 某一列: df.set_index("列名",drop=Fasle) #drop指定Fasle，指定列成为索引，此列也为数据
5） 返回index的唯一值（去重）: df.set_index('列名').index.unique()
14.从复合索引中取值
Series)
1) s1['a']['b']
2) s1['a', 'b']
DataFrame)
df.loc['a'].loc['b']
15.从内层索引开始取值
df.swaplevel()
16.pandas中的时间序列
1）生成时间范围
开始结束时间） pd.date_range(start="2001-01-01", end="2002-01-01", freq="10D")
开始时间和生成个数）pd.date_range(start="2001-01-01", periods = 10, freq= "WOM-3FRI")
2）时间字符串转换成 时间序列
df["timeStamp"] = pd.to_datetime(df["timeStamp"], format="")
format对panda无法格式化的时间字符串进行处理，详情搜索
17.pandas重采样重采样：
指的是将时间序列从一个频率转换成另一个频率进行处理的过程。将高频率转换成低频率数据为降采样，低频率转换成高频率为升采样pandas提供一个 resample 的方法来帮助我们实现频率转化例如 以月份进行统计t.resample("M").mean()
18.PeriodIndex
DatetimeIndex 可以理解为时间戳
那么 PeriodIndex可以理解为时间段
例子： periods = pd.PeriodIndex( year=data["year"], month=data["month"],day=data["day"],hour=data["hour"], freq="H" )
如何给这个时间段降采样？
data = df.set_index(periods).resample("10D").mean()
19.时间类型转 字符串类型
time.strftime('%y%m%d')
