Pandas总结
Pandas基于两种数据类型：series与dataframe。
Series类型的基本操作
Series类型包括index和values两部分；Series类型的操作类似ndarray类型；Series类型的操作类似Python字典类型。
Series类型的操作类似ndarray类型：1、索引方法相同，采用[]；2、NumPy中运算和操作可用于Series类型；3、可以通过自定义索引的列表进行切片；4、可以通过自动索引进行切片，如果存在自定义索引，则一同被切片。
Series类型的操作类似Python字典类型：1、通过自定义索引访问；2、保留字in操作；3、使用.get()方法
dataframe是一个二维的表结构。Pandas的dataframe可以存储许多种不同的数据类型，并且每一个坐标轴都有自己的标签。你可以把它想象成一个series的字典项
首先导入pandas库，也会用到numpy库，所以我们先导入备用
import numpy as np
import pandas as pd
导入CSV或者xlsx文件：
df = pd.DataFrame(pd.read_csv('name.csv',header=1))
df = pd.DataFrame(pd.read_excel('name.xlsx'))
1.数据表信息查看
df.info() 数据表基本信息（维度、列名称、数据格式、所占空间等）
df.shape() 维度查看
df.dtypes() 每一列数据的格式
df['B'].dtype() 某 一列格式
df.isnull() 查看某一列空值
df['B'].unique() 查看某一列的唯一值
df.values() 查看数据表的值
df.columns() 查看列名称
df.head() 查看前多少行数据，默认前10行数据
df.tail() 查看后多少行数据，默认后10 行数据
2.数据表清洗
df.fillna(value=0) 用数字0填充空值
df['prince'].fillna(df['prince'].mean()) 使用列prince的均值对NA进行填充
df['city']=df['city'].map(str.strip) 清除city字段的字符空格
df['a']=df['a'].str.lower() 大小写转换
df['price'].astype('int') 更改数据格式
df.rename(columns={'category': 'category-size'}) 更改列名称
df['city'].drop_duplicates() 删除后出现的重复值
df['city'].drop_duplicates(keep='last') 删除先出现的重复值
df['city'].replace('sh', 'shanghai') 数据替换
数据表合并
戳我
df_inner.set_index('id') 设置索引列
df_inner.sort_values(by=['age']) 按照特定列的值排序
df_inner.sort_index() 按照索引列排序
#如果prince列的值>3000，group列显示high，否则显示low
df_inner['group'] = np.where(df_inner['price'] > 3000,'high','low')
数据提取
主要用到的三个函数：loc,iloc和ix，loc函数按标签值进行提取，iloc按位置进行提取，ix可以同时按标签和位置进行提取
df_inner.loc[3] 按索引提取单行的数值
df_inner.iloc[0:5] 按索引提取区域行数值
df_inner.reset_index() 重设索引
df_inner=df_inner.set_index('date') 设置日期为索引
df_inner[:'2013-01-04'] 提取4日之前的所有数据
df_inner.iloc[:3,:2] 使用iloc按位置区域提取数据#冒号前后的数字不再是索引的标签名称，而是数据所在的位置，从0开始，前三行前两列
df_inner.iloc[[0,2,5],[4,5]] 适应iloc按位置单独提起数据 #提取第0、2、5行，4、5列
df_inner.ix[:'2013-01-03',:4] 使用ix按索引标签和位置混合提取数据 # 2013-01-03号之前，前四列数据
df_inner['city'].isin(['beijing']) 判断city列的值是否为北京
df_inner.loc[df_inner['city'].isin(['beijing','shanghai'])] 判断city列里是否包含beijing和shanghai，然后将符合条件的数据提取出来
pd.DataFrame(category.str[:3]) 提取前三个字符，并生成数据表
数据筛选
使用与、或、非三个条件配合大于、小于、等于对数据进行筛选，并进行计数和求和
df_inner.loc[(df_inner['age'] > 25) & (df_inner['city'] == 'beijing'), ['id','city','age','category','gender']] 使用“与”进行筛选
df_inner.loc[(df_inner['age'] > 25) | (df_inner['city'] == 'beijing'), ['id','city','age','category','gender']].sort(['age']) 使用“或”进行筛选
df_inner.loc[(df_inner['city'] != 'beijing'), ['id','city','age','category','gender']].sort(['id']) 使用“非”条件进行筛选
df_inner.loc[(df_inner['city'] != 'beijing'), ['id','city','age','category','gender']].sort(['id']).city.count() 对筛选后的数据按city列进行计数
df_inner.query('city == ["beijing", "shanghai"]') 使用query函数进行筛选
df_inner.query('city == ["beijing", "shanghai"]').price.sum() 对筛选后的结果按prince进行求和
数据汇总
主要函数是groupby和pivote_table
df_inner.groupby('city').count() 对所有的列进行计数汇总
df_inner.groupby('city')['id'].count() 按城市对id字段进行计数
df_inner.groupby(['city','size'])['id'].count() 对两个字段进行汇总计数
df_inner.groupby('city')['price'].agg([len,np.sum, np.mean]) 对city字段进行汇总，并分别计算prince的合计和均值
数据输出
分析后的数据可以输出为xlsx格式和csv格式
df_inner.to_excel('excel_to_python.xlsx', sheet_name='bluewhale_cc') 写入Excel
df_inner.to_csv('excel_to_python.csv') 写入到CSV
参考点我