python表格数据分类聚合_3-python数据分析-pandas高级操作之替换、映射、随机抽样、分组、高级数据聚合、数据加载、透视表、交叉表...

3-python数据分析-pandas高级操作之替换、映射、随机抽样、分组、高级数据聚合、数据加载、透视表、交叉表

替换操作 replace

替换操作可以同步作用于Series和DataFrame中

单值替换

普通替换： 替换所有符合要求的元素:to_replace=15,value=’e’

按列指定单值替换： to_replace={列标签：替换值} value=’value’

多值替换

列表替换: to_replace=[] value=[]

字典替换(推荐) to_replace={to_replace:value,to_replace:value}

单值替换

df = DataFrame(data=np.random.randint(0,50,size=(7,5)))

#普通替换

df.replace(to_replace=7, value='seven')

#按列指定单值替换

df.replace(to_replace={0:7}, value='seven')

多值替换

#字典替换(推荐使用)

df.replace(to_replace={7:"seven",40:"四十"})#列表替换

df.replace(to_replace=[7,40],value=['seven','四十'])

映射操作 map

map是Series的方法，只能被Series调用

概念：创建一个映射关系列表，把values元素和一个特定的标签或者字符串绑定(给一个元素值提供不同的表现形式)

创建一个df，两列分别是姓名和薪资，然后给其名字起对应的英文名

dic ={'name':['jay','tom','jay'],'salary':[1000,2000,1000]

}

df= DataFrame(data=dic)

#给jay和tom起两个中文名字#映射关系表：表明了映射关系

dic ={'jay':'张三','tom':'李四'}

df['c_name'] = df['name'].map(dic)

运算工具

Series的方法apply也可以像map一样充当运算工具

定义一个方法将它放到map或apply方法中,会将Series中每个元素传到函数中

apply充当运算工具效率要远远高于map，并且apply既可以用在Series也可以用在DataFrame

超过300部分的钱缴纳50%的税，计算每个人的税后薪资

defafter_salary(s):if s > 300:return s - (s-300) * 0.5

returns

df['after_salary'] = df['salary'].map(after_salary)

df['salary'].apply(after_salary)

0650.0

1 1150.0

2 650.0Name: salary, dtype: float64

随机抽样 take

take()  task中的axis参数含义和drop系列的函数一致

np.random.permutation( n)  返回0到n-1之间的乱序序列

df = DataFrame(data=np.random.randint(0,100,size=(100,3)),columns=['A','B','C'])

np.random.permutation(3) #返回0-2之间的乱序序列

array([2, 0, 1])#对原始数据进行打乱，打乱：是对索引打乱#对行列索引进行打乱并进行随机抽样抽取前10个

df.take(indices=np.random.permutation(3),axis=1).take(indices=np.random.permutation(100),axis=0)[0:10]

数据的分类处理 分组groupby

数据分类处理的核心：

groupby()函数可以进行分组

groups属性可以查看分组情况

df = DataFrame({'item':['Apple','Banana','Orange','Banana','Orange','Apple'],'price':[4,3,3,2.5,4,2],'color':['red','yellow','yellow','green','green','green'],'weight':[12,20,50,30,20,44]})

#by 提供了分组条件，通过水果的种类进行分组

df.groupby(by='item')

#查看分组结果

df.groupby(by='item').groups

{'Apple': Int64Index([0, 5], dtype='int64'),'Banana': Int64Index([1, 3], dtype='int64'),'Orange': Int64Index([2, 4], dtype='int64')}

分组聚合

分组的目的就是为了后续对各个小组的聚合计算

计算每一种水果的平均价格

#计算每一种水果的平均价格

df.groupby('item').mean()['price']#不推荐使用上面这种，进行了多余计算，浪费运算成本，# 推荐使用下边这种

df.groupby(by='item')['price'].mean()

item

Apple3.00Banana2.75Orange3.50Name: price, dtype: float64

将每一种水果的平均价格计算出来然后汇总到源数据中

mean_price = df.groupby('item').mean()['price']#直接将其转成字典

mean_price_dic =mean_price.to_dict()

{'Apple': 3.0, 'Banana': 2.75, 'Orange': 3.5}#通过映射，映射到原数据

df['mean_price'] = df['item'].map(mean_price_dic)

求出每一种颜色水果的平均重量，将其汇总到源数据中

#通过color分组计算平均重量并转成字典，通过color映射汇总到原数据

df['color_mean_weight'] = df['color'].map(df.groupby(by='color')['weight'].mean().to_dict())

高级数据聚合

使用groupby分组后，也可以使用transform和apply提供自定义函数实现更多的运算

df.groupby(‘item’)[‘price’].sum() <==> df.groupby(‘item’)[‘price’].apply(sum)

transform和apply都会进行运算，在transform或者apply中传入函数即可

transform和apply也可以传入一个lambda表达式

apply和transform的区别：

transform返回的结果是经过映射后的结果

apply返回的是没有经过映射的结果

#定义的方法需要作用到运算工具中

def my_mean(s): #s是一组数据

sum =0for i ins:

sum+=ireturn sum /len(s)#transform和apply就是运算工具

#transform返回的是映射后的结果，直接可以汇总到原数据

df.groupby(by='item')['price'].transform(my_mean)

03.00

1 2.75

2 3.50

3 2.75

4 3.50

5 3.00Name: price, dtype: float64#apply返回的是没有映射的结果，需要通过map映射才能汇总到原数据

df.groupby('item')['price'].apply(my_mean)

item

Apple3.00Banana2.75Orange3.50Name: price, dtype: float64

数据加载

读取type-.txt文件数据

header 参数header默认是将数据第一行作为列索引，指定None后使用隐式索引

sep 参数sep指定数据通过什么分割

pd.read_csv('./data/type-.txt')

# 指定header等于None不使用第一行作列索引，使用隐式索引pd.read_csv('./data/type-.txt', header=None)

# 指定sep通过"-"分割数据pd.read_csv('./data/type-.txt', header=None, sep='-')

读取数据库中的数据

#连接数据库，获取连接对象

importsqlite3

conn= sqlite3.connect('./data/weather_2012.sqlite')#读取库表中的数据值， 参数(sql语句，连接对象)

pd.read_sql('select * from weather_2012', conn)#将数据写入数据库，参数(表名，连接对象)

text_df.to_sql('text_df', conn)

pd.read_sql('select * from text_df', conn)

透视表 pivot_table

透视表是一种可以对数据动态排布并且分类汇总的表格格式。在pandas中数据透视表被称作pivot_table。

透视表的优点：

灵活性高，可以随意定制你的分析计算要求

脉络清晰易于理解数据

操作性强，报表神器

pivot_table有四个最重要的参数index、values、columns、aggfunc

数据读取

#需要指定引擎和编码，否则会报错乱码

df = pd.read_csv('./data/透视表-篮球赛.csv', engine='python', encoding='utf-8')

index参数

分类汇总的分类条件，每个pivot_table必须拥有一个index

#想看看哈登对阵同一对手在不同主客场下的数据，分类条件为对手和主客场

df.pivot_table(index=['对手','主客场'])

values参数

对计算的数据进行筛选

#如果我们只需要哈登在主客场和不同胜负情况下的得分、篮板与助攻三项数据

df.pivot_table(index=['主客场','胜负'],values=['得分','篮板','助攻'])

aggfunc参数

设置对数据聚合时使用的函数

当我们未设置aggfunc时，它默认aggfunc=’mean’计算均值

#想获得哈登在主客场和不同胜负情况下的总得分、总篮板、总助攻时：#将aggfunc参数设为sum，就是对数据求和

df.pivot_table(index=['主客场','胜负'],values=['得分','篮板','助攻'], aggfunc='sum')

columns参数

设置列层次字段, 对values字段进行分类

#获取所有队主客场的总得分

df.pivot_table(index='主客场',values='得分', aggfunc='sum')

#查看主客场下的总得分的组成元素是谁

df.pivot_table(index='主客场', values='得分', aggfunc='sum', columns='对手')

#fill_value 将空值填充

df.pivot_table(index='主客场', values='得分', aggfunc='sum', columns='对手'，fill_value=0)

交叉表 crosstab

是一种用于计算分组的特殊透视图,对数据进行汇总

pd.crosstab(index,colums)

index:分组数据，交叉表的行索引

columns:交叉表的列索引

df = DataFrame({'sex':['man','man','women','women','man','women','man','women','women'],'age':[15,23,25,17,35,57,24,31,22],'smoke':[True,False,False,True,True,False,False,True,False],'height':[168,179,181,166,173,178,188,190,160]})

#求出各个性别抽烟的人数

pd.crosstab(index=df.smoke,columns=df.sex)

#求出各个年龄段抽烟人情况

pd.crosstab(index=df.age, columns=df.smoke)