pandas基础
Pandas使用一个二维的数据结构DataFrame来表示表格式的数据。
首先将pandas和numpy加载进来
import pandas as pd
import numpy as np
一. 生成数据表
1.文件读取
csv文件和xlsx分别用read_csv() 和 read_xlsx()
df = pd.read_csv('./data/HR.csv')
2.用pandas创建数据表
df = pd.DataFrame({
"id": [1001,1002,1003,1004,1005,1006],
"date": pd.date_range('20130102', periods=6),
"city": ['Beijing ', 'SH', ' guangzhou ', 'Shenzhen', 'shanghai', 'BEIJING '],
"age": [23,44,54,32,34,32],
"category": ['100-A','100-B','110-A','110-C','210-A','130-F'],
"price": [1200,np.nan,2133,5433,np.nan,4432]},
columns = ['id','date','city','category','age','price'])
执行结果：
id date city category age price
0 1001 2013-01-02 Beijing 100-A 23 1200.0
1 1002 2013-01-03 SH 100-B 44 NaN
2 1003 2013-01-04 guangzhou 110-A 54 2133.0
3 1004 2013-01-05 Shenzhen 110-C 32 5433.0
4 1005 2013-01-06 shanghai 210-A 34 NaN
5 1006 2013-01-07 BEIJING 130-F 32 4432.0
二. 数据表信息查看
1.维度查看
df.shape #（6，6）
2.数据表基本信息（维度，列名称，数据格式，所占空间等）
df.info()
3.每一列数据格式
df.dtypes
执行结果：
id int64
date datetime64[ns]
city object
category object
age int64
price float64
4.某一列数据格式
df['date'].dtypes
5.空值
df.isnull
df['date'].isnull # 某一列的空值
6.查看某一列的唯一值
df['date'].unique()
7.查看数据表的值
df.values
df.head() # 默认为前5行，也可自定义行数
df.tail() # 默认为后5行，也可自定义行数
8.利用现有数据生成一列新数据
比如：max_time和min_time是现有的两列，现在业务需要生成一列gs，gs=max_time-min_time
df.['gs']=df.['max_time']-['min_time']
9.查看基本统计量
df.describe()
执行结果：
a b c d
count 4.000000 4.000000 4.000000 4.000000
mean -0.058927 -0.474549 1.019342 -0.750464
std 0.595253 0.530539 0.753136 1.022685
min -0.640585 -0.997408 0.160999 -1.855990
25% -0.532082 -0.812058 0.509721 -1.489673
50% -0.065873 -0.561149 1.077771 -0.708147
75% 0.407282 -0.223640 1.587391 0.031062
max 0.536626 0.221508 1.760826 0.270427
10.数据框操作
df.head(1)['data'] # 获取第一行的date列
df.head(1)['data'][0] # 获取第一行的date列的元素值
sum(df['ability']) # 计算整个列的和
df[df['data'] == '20161111'] # 获取符合这个条件的行
df[df['data'] == '20161111'].index[0] # 获取符合这个条件的行的行索引的值
df.index # 获取行的索引
df.index[0] # 获取第一个行索引
df.index[-1] # 获取最后一个行索引,只是获取索引值
df.columns # 获取列标签
df[0:2] # 获取第1到第2行，从0开始，不包含末端
三.数据表清洗
1.用数字0填充空值
df.fillna(value=0)
2.使用列price的均值随NA进行填充
df['price'].fillna(df['price'].mean())
3.清除city字段的字符空格
df['city']=df['city'].map(str.strip)
4.大小写转换
df['city']=df['city'].str.lower
5.更改数据格式
df['price'].astype('int')
6.更改列名称
df.rename(columns={'category': 'category-size'})
7.删除重复值
df['city'].drop_duplicates() # 删除后出现的重复值
df['city'].drop_duplicates(keep='last') # 删除先出现的重复值
8.数据替换
df['city'].replace('sh', 'shanghai')
四.数据预处理
df1=pd.DataFrame({
"id":[1001,1002,1003,1004,1005,1006,1007,1008],
"gender":['male','female','male','female','male','female','male','female'],
"pay":['Y','N','Y','Y','N','Y','N','Y',],
"m-point":[10,12,20,40,40,40,30,20]})
1.数据表合并
df_inner = pd.merge(df,df1,how='inner')
df_left = pd.merge(df,df1,how='left')
df_right = pd.merge(df,df1,how='right')
df_outer = pd.merge(df,df1,how='outer')
2.设置索引列
df_left.set_index('id')
3.按照特定列的值排序
df_left.sort_values(by=['age'])
4.按照索引列排序
df_left.sort_index()
5.如果prince列的值>3000，group列显示high，否则显示low
df_left['group'] = np.where(df_left['price'] > 3000,'high','low')
6.对复合多个条件的数据进行分组标记
df_left.loc[(df_left['city'] == 'beijing') & (df_left['price'] >= 4000), 'sign'] = 1
7.对category字段的值依次进行分列，并创建数据表，索引值为df_inner的索引列，列名称为category和size
pd.DataFrame((x.split('-') for x in df_left['category']),index=df_left.index,columns=['category','size'])
8.将完成分裂后的数据表和原df_inner数据表进行匹配
d = df_left=pd.merge(df_left,'分裂后的表',right_index=True, left_index=True)
五.数据提取
主要用到三个函数：loc,iloc,ix
- loc函数按标签值进行提取
- iloc按位置进行提取
- ix同时按标签和位置进行提取
1.按索引提单行的值
df_left.loc[3] # 索引为3，而不是第三个
2.按索引提取区域行数值
df_left.iloc[0:5] # 0，1，2，3，4
3.重设索引
df_left.reset_index()
4.设置date为索引
df_left=df_left.set_index('date')
5.提取2013-01-04之前的所有数据
df_left[:'2013-01-04']
6.使用iloc按位置区域提取数据
df_left.iloc[:3,:2] # 冒号前后的数字不再是索引的标签名称，而是数据所在的位置，从0开始，前三行，前两列。
7.使用iloc按位置单独提取数据
df_left.iloc[[0,2,5],[4,5]] #提取第0、2、5行，4、5列
8.使用ix按索引标签和位置混合提取数据
df_left.ix[:'2013-01-03',:4] #2013-01-03号之前，前四列数据
9.判断city列的值是否为北京
df_left['city'].isin(['beijing'])
10.判断city列里是否包含beijing和shanghai，然后将符合条件的数据提取出来
df_left.loc[df_left['city'].isin(['beijing','shanghai'])]
11.提取前三个字符，并生成数据表
pd.DataFrame(category.str[:3])
六.数据筛选
1.使用与、或、非三个条件配合大于、小于、等于对数据进行筛选。
# 与
df_left.loc[(df_left['age'] > 25) & (df_left['city'] == 'beijing'), ['id','city','age','category','gender']]
# 或
df_left.loc[(df_left['age'] > 25) | (df_left['city'] == 'beijing'), ['id','city','age','category','gender']]
# 非
df_left.loc[(df_left['city'] != 'beijing'), ['id','city','age','category','gender']]
2.对筛选后的数据按city列进行计数
df_left.loc[(df_left['age'] > 25) & (df_left['city'] == 'shanghai'), ['id','city','age','category','gender']].city.count()
3.使用query函数进行筛选
df_left.query('city == ["Beijing", "shanghai"]')
4.对筛选后的结果按prince进行求和
df_left.query('city == ["beijing", "Shenzhen"]').price.sum()
七.数据汇总
主要函数是groupby和pivote_table
1.对所有的列进行计数汇总
df_left.groupby('city').count()
2.按城市对id字段进行计数
df_left.groupby('city')['id'].count()
3.对两个字段进行汇总计数
df_left.groupby(['city','size'])['id'].count()
4.对city字段进行汇总，并分别计算prince的合计和均值
df_left.groupby('city')['price'].agg([len,np.sum, np.mean])
八.数据统计
数据采样，计算标准差，协方差和相关系数
1.简单的数据采样采样后不放回
df_left.sample(n=3)
2.手动设置采样权重
weights = [0, 0, 0, 0, 0.5, 0.5]
df_left.sample(n=2, weights=weights)
3.采样后放回/不放回
df_left.sample(n=6, replace=True) # 采样后放回
df_left.sample(n=6, replace=False) # 采样后不放回
4.计算列的标准差
df_left['price'].std()
5.计算协方差
df_inner.cov() # 数据表中所有字段间的协方差
df_left['price'].cov(df_inner['m-point']) # 计算两个字段间的协方差
6.相关性分析
# 数据表的相关性分析
df_inner.corr()
# 两个字段的相关性分析
df_left['price'].corr(df_inner['m-point']) #相关系数在-1到1之间，接近1为正相关，接近-1为负相关，0为不相关
九.数据输出
分析后的数据可以输出为xlsx格式和csv格式
1.输出为Excel
df_left.to_excel('excel_to_python.xlsx', sheet_name='bluewhale_cc')
2.输出为CSV
df_left.to_csv('excel_to_python.csv')