数据探索与预处理

（python数据分析与挖掘实战笔记）

脏数据包括：缺失值、异常值、不一致的值

一、异常值分析

• 简单统计量分析（最大值、最小值...）
• 3原则（数据服从正态分布）
• 远离平均值多少倍标准差（数据不服从正态分布）
• 箱型图分析（四分位数）

二、数据预处理

               数据清洗、数据集成、数据变换、数据规约

                                                         

---

（1）数据清洗

主要是删除原始数据集中的无关数据、重复数据、平滑噪声数据、筛选掉与挖掘主题无关的数据、处理缺失值、异常值等。

1.处理缺失值的方法：

• 删除存在缺失值的记录
• 对可能值进行插补
• 不处理

常用插补方法：拉格朗日插值法、牛顿插值法

2.异常值处理

---

（2）数据集成

多个数据源的数据合并

（3）数据变换

1.简单函数变换：如平方、开方、取对数、差分运算等

不具正态分布的数据-->正态分布（如函数变换）

非平稳序列-->平稳序列（如对数变换、差分运算）

                                                                    

2.规范化

3.连续属性离散化

---

---

（4）数据规约

1.属性规约

2.数值规约