百日筑基篇——Pandas学习三（pyhton入门八）

百日筑基篇——Pandas学习三（pyhton入门八）

---

前言

上一篇文章介绍了一下pandas库中的一些函数，而本章则继续介绍库中的函数在数据处理中的应用。

一、数据排序

运用sort_values方法，

import pandas as pd

path = r"C:\Users\王浩天\Desktop\beijing_tianqi_2018.csv"
df = pd.read_csv(path)
df.loc[:, "bWendu"] = df["bWendu"].str.replace("℃", "").astype("int32")
df.loc[:, "yWendu"] = df["yWendu"].str.replace("℃", "").astype("int32")

print(df.head(4))
#Series的排序
print(df["bWendu"].sort_values(ascending=True,inplace=False))
#DataFrame的排序
df1 = df.sort_values(by=["aqiLevel","bWendu"],ascending=[True,False],inplace=False)
print(df1.head(6))
       ymd  bWendu  yWendu  tianqi fengxiang fengli  aqi aqiInfo  aqiLevel
178  2018-06-28      35      24    多云~晴        北风   1-2级   33       优         1
149  2018-05-30      33      18       晴        西风   1-2级   46       优         1
206  2018-07-26      33      25  多云~雷阵雨       东北风   1-2级   40       优         1
158  2018-06-08      32      19  多云~雷阵雨       西南风   1-2级   43       优         1
205  2018-07-25      32      25      多云        北风   1-2级   28       优         1
226  2018-08-15      32      24      多云       东北风   3-4级   33       优         1

在数据框的排序中，sort_values()函数的参数"by"用来指定根据排序的列名，“ascending” 参数则填布尔值或由布尔值形成的列表，用来指定是升序还是降序 ，且与"by"一一对应。

列如，在上述代码中，是先根据"aqiLevel"升序排序，再在此基础上按"bWendu"来降序排序。

二、字符串处理

使用 .str方法，获取Series的str属性，以便在属性上调用所需函数。

#使用str的startswith 、contains 等得到bool的Series，可以用来做条件查询
#例如，提取出六月份的数据
condition = df["ymd"].str.startswith("2018-06")
print(df.loc[condition,:])

#多次str处理，只展示月份
df1["ymd"]=df1["ymd"].str.replace("-","").str[4:6]
print(df1.head(3))
    ymd  bWendu  yWendu  tianqi fengxiang fengli  aqi aqiInfo  aqiLevel
178  06      35      24    多云~晴        北风   1-2级   33       优         1
149  05      33      18       晴        西风   1-2级   46       优         1
206  07      33      25  多云~雷阵雨       东北风   1-2级   40       优         1


#使用split对ymd进行拆分为列表
def func(df):
    year,month,day = df["ymd"].split("-")
    return f"{year}年{month}月{day}日"
df["日期"] = df.apply(func,axis=1)
print(df.head(3))
          ymd  bWendu  yWendu tianqi  ... aqi aqiInfo  aqiLevel           日期
0  2018-01-01       3      -6   晴~多云  ...  59       良         2  2018年01月01日
1  2018-01-02       2      -5   阴~多云  ...  49       优         1  2018年01月02日
2  2018-01-03       2      -5     多云  ...  28       优         1  2018年01月03日

#若要将年月日去掉，可使用正则表达式
df["日期"]=df["日期"].str.replace("[年月日]","",regex = True)
print(df.head(2))

三、数据合并方法

1. merge方法

根据一列或多列的值将两个DataFrame对象按行或列合并到一起

import pandas as pd


df1 = pd.DataFrame({'学号': ['A0', 'A1', 'A2', 'A3'],
                    '姓名': ['B0', 'B1', 'B2', 'B3'],
                    '学生': ['K0', 'K1', 'K2', 'K3']})


df2 = pd.DataFrame({'成绩': ['C0', 'C1', 'C2', 'C3'],
                    '导师': ['D0', 'D1', 'D2', 'D3'],
                    '学生': ['K0', 'K1', 'K2', 'K3']})

print(df1)
print(df2)
df_merge = pd.merge(df1,df2,on="学生")
print(df_merge)
   学号  姓名  学生  成绩  导师
0  A0  B0  K0  C0  D0
1  A1  B1  K1  C1  D1
2  A2  B2  K2  C2  D2
3  A3  B3  K3  C3  D3

笔记如下：

2. concat方法

用于按行或列将多个DataFrame对象连接到一起。它可以用于沿着行或列轴将DataFrame对象堆叠在一起

import pandas as pd

df1 = pd.read_csv(r"D:\python\PycharmProjects\pythonProject1\pachou\result_dir\yaxibao0.csv",encoding="utf-8")
df2 = pd.read_csv(r"D:\python\PycharmProjects\pythonProject1\pachou\result_dir\yaxibao1.csv",encoding="utf-8")
df1 = pd.DataFrame(df1)
df2 = pd.DataFrame(df2)
#print(df1)
#print(df2)
DF= pd.concat([df1,df2],axis=0)  #默认按行合并
print(DF)
                   AA_ID  yaxibao
0    LaggChr1G00000010.1     chlo
1    LaggChr1G00000020.1     cyto
2    LaggChr1G00000030.1     nucl
3    LaggChr1G00000040.1     nucl
4    LaggChr1G00000050.1     mito
..                   ...      ...
533  LaggChr1G00010360.1     nucl
534  LaggChr1G00010370.1     cyto
535  LaggChr1G00010380.1     cyto
536  LaggChr1G00010390.1     chlo
537  LaggChr1G00010400.1     plas

[1040 rows x 2 columns]

笔记如下：

四、分组数据统计

主要运用groupby方法，通常与agg()方法联用。也可以自定义方法，并使用apply应用于数据框

import numpy as np
df["ymd"] = df["ymd"].str[:7]
print(df.head(3)
       ymd  bWendu  yWendu tianqi fengxiang fengli  aqi aqiInfo  aqiLevel
0  2018-01       3      -6   晴~多云       东北风   1-2级   59       良         2
1  2018-01       2      -5   阴~多云       东北风   1-2级   49       优         1
2  2018-01       2      -5     多云        北风   1-2级   28       优         1


#可传入多个分组依据列；as_index=False ,表示不使分组列变为索引，后面的agg函数，传入字典可对不同的列使用指定的聚合方法
print(df.groupby(["fengxiang","ymd"],as_index=False).agg({"bWendu":np.max,"yWendu": np.min,"aqi": np.mean}))
   fengxiang      ymd  bWendu  yWendu         aqi
0        东北风  2018-01       3     -11   45.200000
1        东北风  2018-02      10      -4   45.000000
2        东北风  2018-03      15      -4  141.666667
3        东北风  2018-04      19       1   56.200000
4        东北风  2018-05      25      13  121.000000
..       ...      ...     ...     ...         ...
68       西南风  2018-12       2      -8   78.000000
69        西风  2018-02       8      -4   78.000000
70        西风  2018-05      33      10   74.500000
71        西风  2018-07      27      23   28.000000
72        西风  2018-10      21       7   77.000000


df4 = df[["ymd","bWendu","yWendu","aqi","aqiLevel"]]
print(df4.groupby("ymd").agg([np.sum,np.mean,np.std]))
print(df4.groupby("ymd").agg({"bWendu":np.max,"yWendu": np.min,"aqi": np.mean}))


#使用自定义方法
def guiyihua(df):
    df["bWendu_new"] = df["bWendu"].apply(lambda x: (x - df["bWendu"].min())
                                                    / (df["bWendu"].max() - df["bWendu"].min()))
    return df
print(df.groupby("ymd").apply(guiyihua))

五、数据重塑

这里是引用

1. stack

stack函数用于将数据框的列转换为行，从而生成一个新的数据框
它会将数据框的列标签转换为新的索引层级，并将对应的值放入新的列中。这个过程被称为"堆叠"。
unstack是与stack相反的操作，用于将行索引转换为列。

#print(df.dtypes)
df["ymd"] = pd.to_datetime(df["ymd"])
#print(df.dtypes)
#根据月份分组
df_group = df.groupby([df["ymd"].dt.month,"fengxiang"])["bWendu"].agg(pv = np.max)
print(df_group)
               pv
ymd fengxiang    
1   东北风         3
    东南风         2
    东风          3
    北风          2
    南风          7
...            ..
11  西南风        14
12  东北风         9
    东南风         7
    西北风        10
    西南风         2

[73 rows x 1 columns]

#将行索引转化为列
df_stack = df_group.unstack()
print(df_stack)
             pv                                          
fengxiang   东北风   东南风    东风    北风    南风   西北风   西南风    西风
ymd                                                      
1           3.0   2.0   3.0   2.0   7.0   6.0   5.0   NaN
2          10.0   NaN   7.0   6.0   8.0   5.0  12.0   8.0
3          15.0  14.0  25.0  18.0  27.0   NaN  25.0   NaN
4          19.0  26.0   NaN  26.0  30.0  26.0  27.0   NaN
5          25.0  28.0  29.0  25.0  35.0  31.0  32.0  33.0
6          37.0  37.0  36.0  35.0  37.0   NaN  38.0   NaN
7          33.0  37.0  32.0  32.0  35.0   NaN  35.0  27.0
8          32.0  35.0  35.0  32.0  36.0   NaN  28.0   NaN
9           NaN   NaN   NaN  30.0  29.0  27.0  31.0   NaN
10         17.0   NaN   NaN  25.0  25.0  24.0  19.0  21.0
11          8.0  13.0   NaN  15.0  18.0  11.0  14.0   NaN
12          9.0   7.0   NaN   NaN   NaN  10.0   2.0   NaN



#将列索引转换为行
ymd  fengxiang    
1    东北风        pv     3
     东南风        pv     2
     东风         pv     3
     北风         pv     2
     南风         pv     7
                      ..
11   西南风        pv    14
12   东北风        pv     9
     东南风        pv     7
     西北风        pv    10
     西南风        pv     2
Length: 73, dtype: int32

2. pivot

pivot函数会重新安排数据框的行和列，使之对应于新的行和列标签。这个过程被称为"旋转"

import pandas as pd

# 创建一个简单的数据框
data = {'Name': ['wht', 'xingshi'],
        'Subject': 'Maths',
        'Score': [90, 85]}
df = pd.DataFrame(data)
print(df)
      Name Subject  Score
0      wht   Maths     90
1  xingshi   Maths     85


# 使用pivot函数进行数据重塑
pivoted_df = df.pivot(index='Name', columns='Subject', values='Score')

# 打印重塑后的数据框
print(pivoted_df)
Subject  Maths
Name          
wht         90
xingshi     85

---

总结

本章主要总结了有关pandas库中的一些函数，有排序函数sort_values; 数据合并函数merge、concat；分组统计函数groupby;以及数据重塑函数stack、pivot。

子非鱼，安知鱼之乐；

–2023-8-14 筑基篇