Python编程&数据科学入门 Lesson6

第六课 Pandas 进阶

* 本课主要内容：数据的分组和聚合

01.分组和聚合的思想

• 通过统计多篇文章词频的例子，来了解分组和聚合的思想方法。

02.鸢尾花案例

• groupby 方法
• agg方法
• apply方法

03.婴儿姓名案例

• 每年最流行的男孩女孩名字所占的百分比变化趋势如何？
• 为何这一趋势逐年降低的？

01.分组和聚合的思想

数据的分组&聚合 -- 什么是groupby 技术?

• 在数据分析中，我们往往需要在将数据拆分，在每一个特定的组里进行运算。比如根据教育水平和年龄段计算某个城市的工作人口的平均收入。
• pandas中的groupby提供了一个高效的数据的分组运算。
• 我们通过一个或者多个分类变量将数据拆分，然后分别在拆分以后的数据上进行需要的计算

• 我们可以把上述过程理解为三部：
  *1.拆分数据（split）
  *2.应用某个函数（apply）
  *3.汇总计算结果（aggregate）

  
  
  

  Paste_Image.png

写成代码的话：

Paste_Image.png

02.案例一 ：Iris鸢尾花数据集

a.导入pandas包

* import pandas as pd

b.导入鸢尾花数据

* Iris = pd.read_csv( 'iris.txt' )

*iris.head() # 前五行数据

Paste_Image.png

c. 统计每个品种的数据量

* iris.species.value_counts()

Paste_Image.png

2.1 分组运算 groupby 方法 -- 使用内置函数

鸢尾花数据中包括了3个不同的品种150个观测对象，数据分析中我们往往对一个品种的特性更感兴趣而不是每一个个体的数据描述。
假如一个植物园管理员提出这个问题：

按品种划分，每个品种的花萼，花瓣的长度和宽度的最大值分别是多少？

我们应该如何回答？

使用上述groupby的思想，我们可以将数据划分为3个小块，每个小块包含50个观测数据。然后使用max函数得到各个测量值的最大值，然后进行汇总。

Paste_Image.png

* size方法查看每个group的大小*

2.2 使用自定义函数进行聚合运算 -- agg 方法

• 当计算变得复杂时，内置函数可能无法处理
• 我们需要自定义一个函数来进行计算, 传入一个数组做参数，返回一个标量的结果。
• groupby对象的agg/aggregate方法可以实现上述功能。
  计算每个品种所有属性（花瓣、花萼的长度和宽度）数值的跨度范围，即最大值减去最小值

Paste_Image.png

我们还可以同时引用多个函数，将函数名字放入一个列表即可，内置函数名需要用引号

Paste_Image.png

针对不同的列，应用不同的聚合函数

Paste_Image.png

2.3 更广泛的分组运算 -- apply方法

• agg 方法将一个函数使用在一个数列上，然后返回一个标量的值。
• apply 是一个更一般化的方法：将一个数据分拆-应用-汇总
  提取每个品种前n个观测值作为一个样本

Paste_Image.png

使用agg会报错，试一下apply方法：

Paste_Image.png

阶段小结：

• 上面的例题主要学习了如何将数据根据某些条件分拆为几个子数据，然后在每个子数据上进行计算从而得到所要的结果。
• 主要思想是分拆-应用-汇总。
• 对于一些简单的计算，比如最大值最小值的计算，我们可以直接使用groupby之后采用相应的内置方法。
• 对于一些更为复杂的计算，我们需要自己定义函数然后应用到拆分后的子数据上。根据具体要求来决定使用agg方法还是apply方法。

03.案例2：美国婴儿名字数据

• 数据来源： https://www.ssa.gov/oact/babynames/limits.html
• 包括1880至2016所有年份出生的婴儿名。

Paste_Image.png

运行以后的结果（前五行）

Paste_Image.png

利用info查看数据信息：

Paste_Image.png

根据多个属性分组数据

Paste_Image.png

在不同的年份不同性别中，计算每个名字所占的百分比

Paste_Image.png

增加排序（rank）

Paste_Image.png

每年最流行的男孩女孩名字所占的百分比变化趋势如何？

• 思路：可以使用matlibplot画出rank1的男孩女孩的名字每年所占总人数的百分比

使用Matplotlib工具绘图

• 下面的线图（line plot）由matlibplot实现，我们可以逐渐添加比如图标题，x轴和y轴的标签等等使图形更加美观

Paste_Image.png

绘制图形

Paste_Image.png

女生的名字流行折线图

Paste_Image.png

为什么历史上最流行的男孩女孩名字所占的比重逐年降低?

Paste_Image.png

使用to_farme将series转化为DataFrame格式

Paste_Image.png

使用reset_index()

Paste_Image.png

作图

Paste_Image.png

运行

Paste_Image.png

结论：可选择的名字逐年增加，所以流行名字的占比逐年降低

• 从数据中快速看到一个现象是我们学习数据分析的一个必要技能，让数据告诉我们发生的现象。