【Python】—— pandas数据处理

Pandas 提供了丰富的数据处理功能,涵盖了从数据导入、清理、转换到分析和可视化的方方面面。以下是一份关于 Pandas 数据处理的主要内容:

1. 数据导入和导出

  • 导入数据:

    import pandas as pd
    
    # 从 CSV 文件导入
    df = pd.read_csv('data.csv')
    
    # 从 Excel 文件导入
    df = pd.read_excel('data.xlsx')
    
  • 导出数据:

    # 导出到 CSV 文件
    df.to_csv('output.csv', index=False)
    
    # 导出到 Excel 文件
    df.to_excel('output.xlsx', index=False)
    

2. 数据清理

  • 处理缺失值:

    # 删除包含缺失值的行
    df.dropna(inplace=True)
    
    # 填充缺失值
    df.fillna(value, inplace=True)
    
  • 删除重复值:

    df.drop_duplicates(inplace=True)
    

3. 数据选择和过滤

  • 选择列:

    df['Column1']
    
  • 条件过滤:

    selected_data = df[df['Column1'] > 2]
    

4. 数据转换

  • 新增列:

    df['NewColumn'] = df['Column1'] + df['Column2']
    
  • 映射和替换:

    df['Category'] = df['Category'].map({'A': 1, 'B': 2, 'C': 3})
    
    # 替换特定值
    df.replace({'old_value': 'new_value'}, inplace=True)
    

5. 数据分组和聚合

  • 按列分组:

    grouped_data = df.groupby('Category')['Value'].mean()
    
  • 多列分组和多个聚合函数:

    grouped_data = df.groupby(['Category', 'SubCategory']).agg({'Value': 'mean', 'Count': 'sum'})
    

6. 数据合并和连接

  • 合并两个 DataFrame:

    merged_df = pd.merge(df1, df2, on='common_column', how='inner')
    
  • 连接操作:

    concatenated_df = pd.concat([df1, df2], axis=0)
    

7. 时间序列处理

  • 处理日期数据:

    df['Date'] = pd.to_datetime(df['Date'])
    
  • 时间索引:

    df.set_index('Date', inplace=True)
    
  • 滚动窗口计算:

    df['RollingMean'] = df['Value'].rolling(window=3).mean()
    

8. 数据可视化

  • 基本图表:
    import matplotlib.pyplot as plt
    
    df['Column1'].plot(kind='line')
    df['Column2'].plot(kind='bar')
    

这些功能只是 Pandas 提供的众多数据处理功能的一部分。根据具体的数据和分析目标,还需要深入学习 Pandas 文档并结合其他库(如 Matplotlib、Seaborn、NumPy)进行更复杂的数据处理和分析。


第1关:将超市销售excel文件根据商品的类别筛选存储

任务描述
本关任务:超市销售数据如图所示

【Python】—— pandas数据处理_第1张图片

建立excel 文件“类别销售”,根据不同类别建立多个工作表,将相同类别的销售信息存放在相应的工作表中。
【Python】—— pandas数据处理_第2张图片

相关知识
为了完成本关任务,你需要掌握:1.读取 excel 文件;2.筛选 dataframe 数据;3.将数据写入工作簿和工作表。

从 excel 文件读入数据

pd.read_excel(filename,sheet_name=0,header=0,index_col=None,names=None,dtype=None)

filename:指定电子表格的具体路径
sheet_name:指定需要读取电子表格中的第几个 sheet,既可以传递整数也可以传递具体的 Sheet 名称
header:是否需要将数据集的第一行用作表头,默认为是需要的
index_col:指定哪些列用作数据框的行索引(标签)
names:如果原数据集中没有字段,可以通过该参数在数据读取时给数据框添加具体的表头
dtypes:通过字典的形式,指定某些列需要转换的形式

向 excel 文件写入数据

DataFrame.to_excel(excel_writer, sheet_name='Sheet1', na_rep='',
 float_format=None, columns=None, header=True, index=True, 
 index_label=None, encoding=None)

excel_writer: 文件路径或现有的 ExcelWriter。
sheet_name:字符串,表的名称。默认“Sheet1”。
na_rep: 字符串,默认‘ ’,缺失数据表示方式。
float_format: 字符串,默认None,格式化浮点数的字符串。
columns: 列表,要写入的列。
header: 布尔或字符串列表,默认为Ture。如果给定字符串列表,则它是列名。
index:布尔,默认的Ture,行名(索引)。
index_label: 字符串或序列,默认为None。
注意:通过 ExcelWriter 写入后要同执行save()保存。

DataFrame

  • 唯一值函数
    unique()是以数组形式返回列的所有唯一值

  • 筛选数据
    Pandas 的.loc 参数可以对多列数据进行筛选,并且支持不同筛选条件逻辑组合。
    常用的筛选条件包括等于(==),不等于(!),大于(>),小于(<),大于等于(>=) ,小于等于(<=)等等。逻辑组合包括与(&)和或(|)。

list1=[["张三",'男'],["李四",'女'],["王五",'男'],["赵六",'女']]
import panda as pd
df=pd.DataFrame(list1,columns=["姓名","性别"])
则 df
   姓名 性别
0  张三  男
1  李四  女
2  王五  男
3  赵六  女
df["性别"].unique()

“男”,"女"
df.loc[df["性别"]=="男"]

   姓名 性别
0  张三  男
2  王五  男

编程要求
根据提示,在右侧编辑器补充代码,建立 excel 文件“类别销售”,根据不同类别建立多个工作表,将相同类别的销售信息存放在相应的工作表中。

测试说明
平台会对你编写的代码进行测试:
输入类别,系统将显示该类别工作表的日期,商品编码,商品名称和合计金额四列信息

测试输入:调料
预期输出:

          日期            商品编码              商品名称  合计金额
0 2000-05-30  \t090202010048  \t裕荣虾味先虾条(原味)80g   7.7
1 2000-06-22  \t090202010071    \t四季宝颗粒花生酱340g  13.3
2 2000-06-24  \t090202010035       \t牛头牌鸡汤块66g   7.7
3 2000-07-18  \t090202010024     \t金兰拌面拌饭酱370g  20.4

测试输入:电池
预期输出:

          日期            商品编码              商品名称  合计金额
0 2000-06-14  \t010105010002         \t金霸王725.2
1 2000-06-14  \t010105010005  \t金霸王超能量(m3)726.2
2 2000-07-16  \t010105010007       \t南孚电池75粒装   8.9

运行代码

import pandas as pd
df=pd.read_excel("xlscl/step1/超市销售数据.xlsx",dtype={"商品编码":str,"商品条码":str})
writer = pd.ExcelWriter("xlscl/step1/类别销售.xlsx")
#代码开始
x=df["类别"].unique()  #获取商品类别
for i in x:  
    leibie=df.loc[df["类别"]==i]
    leibie.to_excel(writer,sheet_name=i,index=False)  
writer.save()
#代码结束

第2关:将银行信息excel文件按地区筛选

任务描述
本关任务:编写一个将银行信息的 excel 文件筛选存储的小程序
银行分布 excel 文件如图所示
【Python】—— pandas数据处理_第3张图片

请编写程序,在 test 文件夹下建立 excel 文件银行一线城市,将北京市、上海市、广州市、深圳市的银行编号、名称按银行编号从小到大的顺序放置到不同的excel 工作表中
【Python】—— pandas数据处理_第4张图片

提示:可以将城市的名字放入列表

运行代码

import pandas
writer = pandas.ExcelWriter('test/银行一线城市.xlsx')
data=pandas.read_excel("test/银行信息.xlsx",dtype={"银行编号":str})
#代码开始
list1 = ["北京市","上海市","广州市","深圳市"]
for i in list1:
    ans = data.loc[data["城市"]==i,["银行编号","名称"]]
    ans = ans.sort_values("银行编号")
    ans.to_excel(writer,sheet_name=i,index=False)
#代码结束
writer.save()

第3关:将gdpecxcel文件按年份筛选存储

任务描述
本关任务:编写一个将 GDP 信息的 excel 文件筛选存储的小程序
各省 GDPexcel 文件如图所示
【Python】—— pandas数据处理_第5张图片

请编写程序,在 test 文件夹下建立 excel 文件 GDP 分年份,将2000-2016年每年建一个工作表,将该年各省的省份、GDP 称按 GDP 从大到小的顺序放置
注意:工作表的名称为字符形
【Python】—— pandas数据处理_第6张图片

DataFrame 类型的排序数据
pandas 中的sort_values()函数,可以将数据集依照某个字段中的数据进行排序,该函数即可根据指定列数据也可根据指定行的数据排序。

DataFrame.sort_values(by=”列名”,axis=0,ascending=True,inplace=False)

by:axis轴上的某个索引或索引列表。
axis=0按列排序 axis=1按行排序 默认按列。
ascending是否按指定列的数组升序排列,默认为True,即升序排列。
inplace是否用排序后的数据集替换原来的数据,默认为False,即不替换。

运行代码

import pandas
writer = pandas.ExcelWriter('test/GDP分年份.xlsx')
data=pandas.read_excel("test/各省GDP.xlsx",dtype={"年份":str},)
#代码开始
for i in range(2000,2017):
    ans = data.loc[data["年份"] == str(i), ["省份","GDP"]]
    ans = ans.sort_values("GDP", ascending = False)
    ans.to_excel(writer, sheet_name = str(i), index = False)
#代码结束
writer.save()

第4关:统计超市销售excel文件各类别和各日的数据,并将统计结果存入新的工作簿

任务描述
本关任务:打开超市销售数据工作簿
【Python】—— pandas数据处理_第7张图片

使用 excel 建立一个统计数据工作簿,建立一个工作表类别统计,按合计金额降序显示不同类别销售金额的和。
【Python】—— pandas数据处理_第8张图片

建立一个工作表日期统计,按日期升序显示不同日期销售金额的和
【Python】—— pandas数据处理_第9张图片

相关知识
为了完成本关任务,你需要掌握:1.DataFrame 如何汇总数据;2.DataFrame 如何排序数据。

DataFrame 类型的汇总数据
Groupby 可以根据一个或多个键对 DataFrame 计算分组摘要统计,
如计数、求和、平均值、标准差,或用户自定义函数。

例如

list1=[["张三",'男'],["李四",'女'],["王五",'男'],["赵六",'女']]
import pandas as pd
df=pd.DataFrame(list1,columns=["姓名","性别"])
则df

   姓名 性别
0  张三  男
1  李四  女
2  王五  男
3  赵六  女
df.groupby(["性别"])["姓名"].count()

性别
女    22
DataFrame.groupby(by=None, axis=0, as_index=True)

by :标签或标签列表;用于确定分类的列。
axis: 接收 0/1;用于表示沿行(0)或列(1)分割。
as_index:默认Ture,汇总后会建立一个序列存放汇总的结果。汇总的列是序列的index 索引,统计值的列是序列的数值。
指定为 False 则汇总结果是一个数据集,汇总列和统计值都是列。

序列类型的排序
序列的sort_values() 函数,可以将序列依照数据进行排序。

series1.sort_values(ascending=True,inplace=False)

ascending是否按指定列的数组升序排列,默认为 True,即升序排列。
inplace 是否用排序后的数据集替换原来的数据,默认为 False,即不替换。
序列的 sort_index() 函数,可以将序列依照索引列进行排序。

编程要求
根据提示,在右侧编辑器补充代码,使用 excel 建立一个统计数据工作簿,建立一个工作表类别统计,按合计金额降序显示不同类别销售金额的和;
建立一个工作表日期统计,按日期升序显示不同日期销售金额的和。

测试说明
平台会对你编写的代码进行测试:
输出两个工作类别统计工作表和日期统计工作表的数据

运行代码

import pandas as pd
df=pd.read_excel("xlscl/step1/超市销售数据.xlsx")
writer = pd.ExcelWriter('xlscl/step2/统计数据.xlsx')
#代码开始
excel1 = df.groupby("类别")["合计金额"].sum()  
excel1.sort_values(ascending = False, inplace = True)  
excel1.to_excel(writer, sheet_name= "类别统计") 
 
excel2 = df.groupby("日期")["合计金额"].sum()  
excel2.sort_index(inplace = True)  
excel2.to_excel(writer, sheet_name = "日期统计")  
writer.save()  
#代码结束

第5关:将超市销售excel文件分别存放在多个日期工作簿的不同类别工作表中

任务描述
本关任务:
超市销售数据如图所示
在 xlscl/step3/rq 文件夹下根据销售的日期建立不同的 excel 文件,
【Python】—— pandas数据处理_第10张图片

将同一类别的销售信息存放在 excel 文件的不同工作表中。
【Python】—— pandas数据处理_第11张图片

并建立类别统计工作表,显示该日各类别的合计金额的和,按合计金额的降序排列。
【Python】—— pandas数据处理_第12张图片

编程要求
根据提示,在右侧编辑器补充代码。
注意:由于文件名只能是字符形,所以需要将日期型数据转换为字符形
可以使用 str(日期时间数据).replace('-',"")[:8]
将日期时间的字符的-删除再取前8个字符
此外,文件需要保存再 xlscl 的 step3 文件夹下的 rq 文件夹下

测试说明
平台会对你编写的代码进行测试:

测试输入:

20000525
零食

预期输出:

商品编码                 商品名称  合计金额
0   90101030095  \t康师傅苏打夹心香草巧克力饼干96g   4.5
1   90101030100         \t百力滋巧克力味50G   3.6
2   90101070032          \t糙米馆荞麦150g   6.9
3   90101090052         \t益民盐津杨梅180g   6.9
4   90101090054         \t益民精盐桃肉160g   6.9
5   90101090055          \t益民咸话梅110g   6.9
6   90101090057         \t益民多味山楂180g   6.9
7   90101090058    \t益达无糖口香糖蓝莓味13.5g   1.9
8   90102010035          \t黑塘麦芽饼500g  27.8
9   90103010048          \t渝业烧烤豆干80g   1.9
10  90103010053      \t金锣Q香香肠老汤味100g   2.1
    类别   合计金额
0384.0
1344.5
2   零食   76.3
3   饮料   38.2
4   冷饮   22.0
5  奶制品   15.5
6  方便面    3.5
7  纸制品    2.1

测试输入:

20000530

预期输出:

          商品编码         商品名称  合计金额
0  90501000012   \t黄鹤楼(硬雅香)    40
1  90501000016  \t黄金叶(软大金圆)    20
2  90501000021      \t南京(红)    22
    类别   合计金额
0   零食  115.1
182.0
2   饮料   49.2
3   冷饮   22.5
4  奶制品    9.8
5   调料    7.7
6  纸制品    6.1
7  方便面    3.5

运行代码

import pandas as pd
df=pd.read_excel("xlscl/step1/超市销售数据.xlsx",dtype={"商品编码":str,"商品条码":str})
#代码开始
data =df["日期"].unique()
for i in data:
    file_name = str(i).replace('-', "")[:8]
    writer = pd.ExcelWriter('xlscl/step3/rq/'+file_name+'.xlsx')
    excel1 = df.loc[df["日期"] == i]
    Class = df["类别"].unique()
    for j in Class:
        excel2 = excel1.loc[df["类别"] == j]
        excel2.to_excel(writer, sheet_name = j, index = False)
    excel3 = excel1.groupby("类别")["合计金额"].sum()
    excel3.sort_values(ascending = False, inplace = True)
    excel3.to_excel(writer, sheet_name = "类别统计", index_label = "类别")
    writer.save()
#代码结束

你可能感兴趣的:(Python,python,pandas,开发语言)