pandas基础笔记(1)--理论篇

场景识别

• numpy 适合于处理同质型的数值类数组数据
• pandas适合于处理表格型或异质型数据

工具数据结构

• series
  • 包含索引的数值序列，类似numpy数组
  • 通过values和index属性分别获得值和索引
  • 通常需要创建索引标签来标识每个数据点
  • 可以通过索引的方式选取Series中的单个或一组值
  • 还可以将Series看成是一个定长的有序字典
  • 如果数据被存放在一个Python字典中，也可以直接通过这个字典来创建：Seriesobj3 = pd.Series(dict_data)
  • pandas的isnull和notnull函数可用于检测缺失数据
  • series也可以使用isnull和notnull判断函数
  • Series最重要的一个功能是，它会根据运算的索引标签自动对齐数据，可以认为是类似join的操作
  • Series对象本身及其索引都有一个name属性，该属性跟pandas其他的关键功能关系非常密切
  • Series的索引可以通过赋值的方式就地修改
• dataframe：
  • 是一个表格型的数据结构，它含有一组有序的列，每列可以是不同的值类型（数值、字符串、布尔值等）。DataFrame既有行索引也有列索引，它可以被看做由Series组成的字典（共用同一个索引）
  • 创建dataframe:直接传入一个由带标签的等长列表或NumPy数组组成的字典
  • 通过类似字典标记的方式或属性的方式，可以将DataFrame的列获取为一个Series
  • 行也可以通过位置或名称的方式进行获取，比如用loc属性frame2.loc['three']
  • 列可以通过赋值的方式进行修改，赋值一个标量或者一组值
  • 为不存在的列赋值会创建出一个新列。关键字del用于删除列
  • dataFrame的index和columns的name属性
  • 跟Series一样，values属性也会以二维ndarray的形式返回DataFrame中的数据
  • Index对象是不可变的，因此用户不能对其进行修改
  • 与python的集合不同，pandas的Index可以包含重复的标签

基本功能

• reindex，其作用是创建一个新对象，它的数据符合新的索引，不存在的索引处插入缺失值
• method选项，使用ffill可以实现前向值填充
• 借助DataFrame，reindex可以修改（行）索引和列。只传递一个序列时，会重新索引结果的行
• （Series）丢弃指定轴上的项，drop方法返回的是一个在指定轴上删除了指定值的新对象
• (dataframe)用标签序列调用drop会从行标签（axis=0）删除值，通过传递axis=1或axis=’columns’可以删除列的值
• 小心使用inplace，它会销毁所有被删除的数据
• 利用标签的切片运算与普通的Python切片运算不同，其末端是被包含的
• 通过切片或布尔型数组选取数据
• 用loc和iloc进行选取
  • data.loc['Colorado', ['two', 'three']]
  • data.iloc[2, [3, 0, 1]]
  • data.loc[:'Utah', 'two']
  • data.iloc[:, :3][data.three > 5]
  • df.at[i,j]
  • df.iat[i,j]
  • 为了进行统一，如果轴索引含有整数，数据选取总会使用标签。为了更准确，请使用loc（标签）或iloc（整数）
• 算术运算和数据对齐
  • 在将对象相加时，如果存在不同的索引对，则结果的索引就是该索引对的并集。对于有数据库经验的用户，这就像在索引标签上进行自动外连接
  • 自动的数据对齐操作在不重叠的索引处引入了NA值。缺失值会在算术运算过程中传播
• 在算术方法中填充值
  • 当一个对象中某个轴标签在另一个对象中找不到时填充一个特殊值（比如0）
  • df1 + df2
  • df1.add(df2, fill_value=0)
• DataFrame和Series之间的运算
  • 当我们从arr减去arr[0]，每一行都会执行这个操作。这就叫做广播（broadcasting）
  • 如果某个索引值在DataFrame的列或Series的索引中找不到，则参与运算的两个对象就会被重新索引以形成并集、
  • 如果你希望匹配行且在列上广播，则必须使用算术运算方法

函数应用和映射

• NumPy的ufuncs（元素级数组方法）也可用于操作pandas对象
• 将函数应用到由各列或行所形成的一维数组上。DataFrame的apply方法即可实现此功能
  • f = lambda x: x.max() - x.min()
  • 大部分的统计工作已经被设计成了dataframe的方法
  • def f(x): return pd.Series([x.min(), x.max()], index=['min', 'max'])
  • 元素级的Python函数：format = lambda x: '%.2f' % x 对每个元素操作frame.applymap(format)

排序和排名

• 要对行或列索引进行排序（按字典顺序），可使用sort_index方法根据任意一个轴上的索引进行排序
• 若要按值对Series进行排序，可使用其sort_values方法
• 当排序一个DataFrame时，你可能希望根据一个或多个列中的值进行排序。将一个或多个列的名字传递给sort_values的by选项即可达到该目的
• rank是通过“为各组分配一个平均排名”的方式破坏平级关系的obj.rank()

带有重复标签的轴索引

• 对于带有重复值的索引，数据选取的行为将会有些不同。如果某个索引对应多个值，则返回一个Series；而对应单个值的，则返回一个标量值

汇总和计算描述统计

• 常用统计指标
• 相关系数与协方差