Python数据分析之数据重构

• 本文为个人复现GitHub项目Hands-on data analysis第二章第二节的练习记录
• 参考教材：《Python for Data Analysis》
• 数据来源 Kaggle-Titanic，Hands-on data analysis

二、数据重构

2.4 数据的合并

• 首先导入 data 文件夹里的文件

import numpy as np
import pandas as pd、
dflp = pd.read_csv('./data/train-left-up.csv')
dfrp = pd.read_csv('./data/train-right-up.csv')
dfld = pd.read_csv('./data/train-left-down.csv')
dfrd = pd.read_csv('./data/train-right-down.csv')

2.4.1 Concat 的使用

• 将数据train-left-up.csv和train-right-up.csv横向合并为一张表，并保存这张表为result_up
• 将train-left-down.csv和train-right-down.csv横向合并为一张表，并保存这张表为result_down。

result_up = pd.concat([dflp, dfrp], axis = 1)
result_down = pd.concat([dfld, dfrd], axis = 1)

• 将上边的result_up和result_down纵向合并为result。

result = pd.concat([result_up, result_down])

2.4.2 join和append

• 使用DataFrame自带的方法join方法和append完成上面的合并

# join 用于左右拼接
result1_up = dflp.join(dfrp)
result1_down = dfld.join(dfrd)

# append 用于上下拼接
result1 = result1_up.append(result1_down)

2.4.3 merge

• 使用Panads的merge方法和DataFrame的append方法完成上面的合并

# merge 只能用于左右表拼接
Result_up = pd.merge(dflp, dfrp, left_index=True,right_index=True)
Result_down = pd.merge(dfld, dfrd, left_index=True,right_index=True)

# append 用于上下拼接
Result = Result_up.append(Result_down)

pd.merge()参数比较多，用法比较灵活，这边给出官方文档和解析：
pd.merge() 官方文档

DataFrame.merge(right, how=‘inner’, on=None, left_on=None, right_on=None, left_index=False, right_index=False, sort=False, suffixes=(’_x’, ‘_y’), copy=True, indicator=False, validate=None)

• right: 需要合并的dataFrame
• how: {‘left’, ‘right’, ‘outer’, ‘inner’, ‘cross’}, default ‘inner’
  • left: leftouter join, 使用left frame的主键
  • right: rightouter join, 使用 right frame 的主键
  • outer: full outer join, 使用两个frame的主键，按字母顺序排序
  • inner: inner join, 使用两个frame的主键的交集，保持左键的顺序
  • cross: 从两个坐标系创建笛卡尔积，保持左键的顺序
• on: 设定合并基准列，若on = None, 则默认为两个DataFrames中的列的交集
• left_on 和right_on: 指定左右数据集的合并名称，有时左右数据集的索引名称相同，则可以设置left_on和right_on参数来合并两个数据集
• left_index 和 right_index: 合并索引
• sort: 若 sort = True, 则连接键按字母顺序排序，若sort = False, 则连接键按 ‘how’ 关键字排序
• suffixes: 指示要添加到左边和右边重叠列名的后缀。传递值None而不是字符串，以指示左列名称或右列名称应按原样向左，不带后缀。
• indicator: 若 indicator = True, 则新加名为’_merge’显示合并方式 (left_only, both, right_only)
• suffixes: 连接方式，包括一对一，一对多，多对多

这篇写的挺好的：Pandas学习笔记六——合并数据集：连接（join）和合并（merge）操作

• 保存数据

Resul.to_csv('result.csv', index = False)

2.5 不同数据类型的数据重构

2.5.1 DataFrame和Series类型的互换

1. DataFrame → Series: df.stack(), 把列旋转成行

text = pd.read_csv('result.csv')
text.head()
unit_result = text.stack()

Output:
⚠️ 但数据保存后还是 DataFrame 格式

unit_result.to_csv('unit_result.csv')
test = pd.read_csv('unit_result.csv')
test.head()

Output:

2. Series → DataFrame: df.unstack(), 把行旋转成列

unit_result = unit_result.unstack()

Output:

数据重构之数据聚合与运算

2.6 数据运用

groupby的运用
《利用Python进行数据分析·第二版》第十章 数据聚合与分组运算

2.6.1 计算泰坦尼克号男性与女性的平均票价

import numpy as np
import pandas as pd
df = pd.read_csv('./result.csv')

# 输出为Series类型
# 方法一
df.groupby('Sex')['Fare'].mean()
# 方法二
df1 = df['Fare'].groupby(df['Sex']).mean()

# 输出为DataFrame类型
# 方法一
df.groupby('Sex')[['Fare']].mean()
# 方法二
df1 = df[['Fare']].groupby(df['Sex']).mean()

⬇️ 以下输出类型均为Series

2.6.2 统计泰坦尼克号中男女的存活人数

df2 = df.groupby('Sex')['Survived'].sum()

从 2.6.1 到 2.6.2 中，这些运算可以通过agg()函数来同时计算。并且可以使用rename函数修改列名

# 若公式'mean'或'sum'加上中括号(e.g. ['mean'], ['sum']),则表头会多出一行显示公式名称
# 输出类型为 DataFrame
# reset_index()可以解决主键与列名称不在一行的问题
num_agg = {'Fare':'mean', 'Survived': 'sum'}  
df.groupby('Sex').agg(num_agg).rename(columns={'Fare': 'mean_fare', 'Survived': 'sum_Survived'}).reset_index()

将2.6.1和2.6.2的数据合并，并保存到sex_fare_survived.csv

# merge可以合并Series类型的数据
# 输出类型为 DataFrame
sex_fare_survived = pd.merge(df1,df2,on='Sex').reset_index()
sex_fare_survived.to_csv('sex_fare_survived.csv', index = False)

2.6.3 计算客舱不同等级的存活人数

df['Survived'].groupby(df['Pclass']).sum()

2.6.4 统计在不同等级的票中的不同年龄的船票花费的平均值

df.groupby(['Pclass','Age'])['Fare'].mean().head()

⬇️ 以下输出类型均为DataFrame

# 计算泰坦尼克号男性与女性的平均票价
dfd1 = df[['Fare']].groupby(df['Sex']).mean().reset_index()

# 统计泰坦尼克号中男女的存活人数
dfd2 = df.groupby('Sex')[['Survived']].sum()

# 合并数据
# join 可以合并 DataFrame类型的数据
dfd1_dfd2 = dfd1.join(dfd2)

2.6.5 得出不同年龄的总的存活人数，然后找出存活人数的最高的年龄，最后计算存活人数最高的存活率（存活人数/总人数）

age_survived = df.groupby('Age')['Survived'].sum()
ageSurvivedMax = age_survived.max()
survivedMax = ageSurvivedMax / df['Survived'].sum()
# output: 0.043859649122807015