Pandas数据分析教程-数据清洗-扩展数据类型

pandas-02-数据清洗&预处理

  • 扩展数据类型
    • 1. 传统数据类型缺点
    • 2. 扩展的数据类型
    • 3. 如何转换类型

文中用S代指Series,用Df代指DataFrame
数据清洗是处理大型复杂情况数据必不可少的步骤,这里总结一些数据清洗的常用方法:包括缺失值、重复值、异常值处理,数据类型统计,分箱,随机采样,向量化编码等方法。每种方法都给出了代码和实例,并用表格进行总结。

扩展数据类型

1. 传统数据类型缺点

  • Pandas中很多数据类型都来自于Numpy,但实际这些数据类型有以下几个问题:
  1. 在整数类型,布尔型数据类型等数据中,若含有缺失值(缺失值都会判断为float),则对Series类型判断则会出现问题,比如整数会判断为浮点数,布尔类型会判断为混合类型
  2. 字符串类型存储和计算成本大
  3. 没有有效支持时间的数据类型,如时间间隔,时间增量,区时时间。
    Pandas数据分析教程-数据清洗-扩展数据类型_第1张图片

2. 扩展的数据类型

  • 因此pand

你可能感兴趣的:(pandas,pandas,数据分析,数据挖掘)