python学习：pandas学习笔记（三）

本次笔记内容：

• 合并/删除/计数重复行：groupby的用法
• 去掉一个dataframe中，行和为0的行
• data frame中out merge, inner merge等
• 对data frame中元素进行批量操作（加和，去除重复值）
• long data与wide data定义及其互相转换：pandas.melt及pivot_table的用法

在R里将原始文件（如.csv）以data.frame导入时，如果有重复行名，R会直接报错。虽然在python的pandas里不会，但在检查数据时需要注意重复行/列名称的问题。重复行/列名称可能为重复记录，删掉即可；可能为同一类别的两种来源，需要合并。也有可能是其它需要特殊处理的情况。

以下为一个查找重复行并计数有多少个重复行的例子:

• 需要鉴别df.duplicated() 和 df.index.duplicated()
• 要先检查清楚：行/列名重复，其行/列值也雷同吗？

from collection import Counter   # Counter可以当作分类计数的工具
list = list(df.index.duplicated('first')) 
# 除了第一个出现的重复值，其余的都标记为True; "last"同理， False则为将所有重复值标记为True
print Counter(list)
# 可以得到每个unique值的重复个数分别为多少，如：
# Counter({A: 5, B: 8, C: 90})
# 如果是重复列...其实可以.T转置然后再折腾=_=
df.duplicated()
# 识别的是两行内容是否完全一致，不仅是rownames. print出来的结果是每个rowname, 对应T or F

发现了重复行/列怎么办？

合并重复行：用groupby(level=0).sum()将重复行合并为一行

df_test = df.groupby(level=0).sum()
# level=0将df中行的unique值总结起来，以sum()的方式：
# 于是df_test为将df中重复的行合并为一行，其每一列的值为重复行的相加求和
# 但是要注意只能针对df中的数值型变量。df_test中只包含数值型变量。
# 注意这里level=1不代表列，是在multi-index时使用
#合并重复列的话...转置.T

删除重复行/列：

df = df.drop_duplicates()
# 去除重复行。两行完全雷同，则只保留一个。
df = df.loc[:, ~df.columns.duplicated()] 
# 可以去除重复列，只要colnames重复了，就只保留第一个，后面的都删掉了。这意味着即使两列不完全雷同，只保留第一列。
# 也可以转置.T再删

实用的groupby: 更多参见这个链接

test.groupby(['colname']).sum()
test.groupby(['colname']).mean()
# 用于归纳总结一些分类型变量的规律，在某一分类下其他变量的简单统计
# 例子如下图所示

去掉一个dataframe中，行和为0的行

df = df[(df.sum(axis = 1) != 0)]

Pandas.melt()的用法

首先需要明确long data和wide data的概念：对于一些数据，存在单个样本在同一个特征中有重复测量的情况。比如了解一个人每年的薪水怎样，那么对薪水（income）这个变量，在每年都有一个测量值。
如下所示：
long data中会出现重复的行名，因为将每个测量值都单独作为一条记录，所以每个样本会出现多行记录。
wide data中不会出现重复的行名，每个样本的重复测量值（repeated responses）按照单独的列分列出来。

在R中可以使用reshape包实现wide data和long data的互相转换，在Python中可以用pandas.melt()将wide data转换为long data:
pd. melt(df, id_vars = ['A'], value_vars = ['B', 'C'])
# id_vars参数定义sample_ID, 即有重复测量的subjects列，在转化为Long data的时候这一列会出现多行重复值
# value_vars参数定义一个variable, 这个variable包括了value_vars定义的所有column names, 即将每个subject对应的value_var值拿出来作为一条记录出现在Long data中。

用 pandas.pivot_table()将long data转换为wide data:
df.pivot_table(values = 'value', index = ['A'], columns = 'variable')
# values即定义每个记录中的值，index定义以哪一列作为Index（即subjects）, columns定义以哪列作为columns展开成wide data