利用Python进行数据分析-读书笔记(4)

利用标签的切片运算与普通的Python切片运算不同，其末端是包含的，比如[2:3]其中3也是包含的。b['a':'d']
用一个值或序列对DataFrame进行索引其实就是获取一个或多个列

用loc和iloc进行选取

DataFrame结构数据data如下
one two three four
Ohio 0 1 2 3
Colorado 4 5 6 7
Utah 8 9 10 11
New York 12 13 14 15
data.loc['Colorado', ['two', 'three']] 选择一行多列
data.iloc[2, [3, 0, 1]] 同上 选取第三行第4、2、1列
data.iloc[2] 选取第三行
data.iloc[[1, 2], [3, 0, 1]]
data.loc[:'Utah', 'two'] 两个索引函数
data.iloc[:, :3][data.three > 5]

6.png

整数索引

整数索引容易出错，最好用loc和iloc
在将对象相加时，如果存在不同的索引对，则结果的索引就是该索引对的并集。
自动的数据对齐操作在不重叠的索引处引入了NA值。缺失值会在算术运算过程中传播。
对齐操作会同时发生在行和列上
如果DataFrame对象相加，没有共用的列或行标签，结果都会是NaN
df1.add(df2, fill_value=0) 使用df1的add方法，传入df2以及一个fill_value参数 没有重叠的位置NaN值用0代替
注意这个fill_value用法
In [168]: df1
Out[168]:
a b c d
0 0.0 1.0 2.0 3.0
1 4.0 5.0 6.0 7.0
2 8.0 9.0 10.0 11.0
In [169]: df2
Out[169]:
a b c d e
0 0.0 1.0 2.0 3.0 4.0
1 5.0 NaN 7.0 8.0 9.0
2 10.0 11.0 12.0 13.0 14.0
3 15.0 16.0 17.0 18.0 19.0
In [171]: df1.add(df2, fill_value=0)
Out[171]:
a b c d e
0 0.0 2.0 4.0 6.0 4.0
1 9.0 5.0 13.0 15.0 9.0
2 18.0 20.0 22.0 24.0 14.0
3 15.0 16.0 17.0 18.0 19.0

fill_value

解释：如果两个相加的DataFrame数据结构某行列均不存在结果中的某个元素，则依然为NaN，否则可以用fill_value设置的值替代NaN。
1 / df1 等价于 df1.rdiv(1)
Series和DataFrame的算术方法。它们每个都有一个副本，以字母r开头，它会翻转参数

df1.reindex(columns=df2.columns, fill_value=0) 在对Series或DataFrame重新索引时，也可以指定一个填充值
arr = np.arange(12.).reshape((3, 4))
arr - arr[0] 从arr减去arr[0]，每一行都会执行这个操作。这就叫做广播（broadcasting）
series = frame.iloc[0]
frame - series

10.png

如果某个索引值在DataFrame的列或Series的索引中找不到，则参与运算的两个对象就会被重新索引以形成并集，多出来的部分NaN填充
frame.sub(series, axis='index') 传入的轴号就是希望匹配的轴，目的是匹配DataFrame的行索引（axis='index' or axis=0）广播

函数应用和映射

np.abs(frame) NumPy的ufuncs（元素级数组方法）也可用于操作pandas对象
f = lambda x: x.max() - x.min()
frame.apply(f) 将函数应用到由各列或行所形成的一维数组上，函数f，计算了一个Series的最大值和最小值的差，在frame的每列都执行了一次。结果是一个Series，使用frame的列作为索引
frame.apply(f, axis='columns') 传递axis='columns'到apply，这个函数会在每行执行
apply 每行执行 applymap 元素级执行

排序和排名

series.sort_index() 索引进行排序（按字典顺序）
series.sort_values() 按值排序，任何缺失值默认都会被放到Series的末尾
frame.sort_index(axis=1) 列索引排序
frame.sort_index(axis=1, ascending=False) 降序排序
frame.sort_values(by=['a', 'b']) 根据多个列值进行排序
rank (不是很明白？？？)