第七章 数据规整化：清理、转换、合并、重塑
合并数据集
- pandas.merge：根据键将不同DataFrame中的行连接起来。
#默认做inner连接
pandas.merge(df1, df2, on=['key_a', 'key_b',...], how='outer')
# 两个对象列名不同可以分别指定
pandas.merge(df1, df2, left_on='key1', right_on='key2', how='outer')
# left_index=True或right_index=True说明索引应该被用作连接键
pandas.merge(df1,df2,left_on='key',right_index=True)
#对于层次化索引，必须以列表的形式指明用作合并键的多个列（注意对重复索引值的处理）
#join方法
df2.join(df1, how='outer')
轴索引
- pandas.concat：沿着一条轴将多个对象堆叠到一起
默认axis=0（行），如果axis=1，则结果变成DataFrame。
合并重叠数据
#用df2填补df1的空值
df1.combine_first(df2)
重塑和轴向旋转
重塑层次化索引
- stack()：列->行
- unstack()：行->列
将“长格式”旋转为“宽格式”
- pivot('行索引', '列索引', '填充数据的列名')
数据转换
移除重复数据
- duplicated()
默认用于全部列
# 指定列
data.drop_dulicates(['k1'])
利用函数或映射进行数据转换
data['新列名'] = data['food'].map(str.lower).map('字典名')
# 或者使用函数
data['food'].map(lamda x: 字典名[x.lower()])
替换值
- replace()
data.replace(-999, np.nan)
data.replace([-999, -1000], np.nan)
重命名轴索引
rename()：创建数据集的转换板
#可结合字典对象
data.rename(index{'OHIO'：'INDIANA'}
,columns={'three':'peekaboo'})
#就地修改
data.rename(inplace=True)
离散化和面元划分
连续数据常常被离散化或拆分为“面元”
- cut
ages = [20, 22, 25, 27, 21, 23, 37, 61, 45, 41, 32]
bins = [18, 25, 35, 60, 100] #拆分点
cats = pd.cut(ages, bins, right=True) #设置右边是闭端
#自己设置面元名称
cats = pd.cut(ages, bins, label=group_names)
#若cut传入的是面元的数量，而不是具体的边界，则根据数据的最大最小值计算等长面元
cats = pd.cut(ages, 4, percision=2)
返回一个特殊的Categorical对象，有属性labels, levels, value_counts
- qcut
根据样本分位数对数据进行面元划分，使面元中具有相同数量的点。
检测和过滤异常值
- any
#选出“超过3或-3的值”
data[(np.abs(data) > 3).any(1)]
#将值限制在[-3, 3]
data[np.abs(data) > 3] = np.sign(data) * 3
排列和随机采样
- permutation
df.take(np.random.permutation(len(df))[:3])
计算指标/哑变量
- get_dummies
派生K列矩阵
#给指标矩阵的列加上前缀，以可以跟其他数据合并
dummies = pd.get_dummies(df['key'], prefix='key')
结果：列'a'变成了'key_a'，于是可以跟原矩阵df合并
字符串操作
字符串对象方法
- split
拆分 - strip
去掉空白符（包括换行符） - join
将列表内的字符串用某个符号连接
pieces = ['a', 'b', 'c']
val = '::'.join(pieces)
结果：'a::b::c'
- in
检测子串，或者用find或index
注：若找不到字符串，index会引发异常，find返回-1 - count
返回指定子串的出现次数 - replace
替换、删除
val.replace('::', '')
正则表达式
跳过
pandas中矢量化的字符串函数
略