探索性数据分析(Exploratory Data Analysis，EDA)

PART 02 探索性数据分析

探索性数据分析(Exploratory Data Analysis，简称EDA)，指对数据分析的过程中尽量不加入先验假设，而是通过作图表和统计等方式来探索数据结构和规律。

EDA最早由John W. Tukey在上世纪70年代被提出，最早用于统计学的科学实验的数据研究中。EDA现在已经是数据分析中重要的指导思路，从数据出发来寻找规律，而不是依靠人工假设。

在EDA中你可以构思各种各样的假设，并通过数据分析去寻找相应的反馈，以此迭代来寻找到数据集中分布的规律。在探索的过程中会随着不断的深入对数据理解更加深刻。

EDA的流程如下：

• 提出问题；
• 筛选、清洗数据；
• 分析数据；
• 构建模型；
• 得出结论；

EDA的过程与数据挖掘的流程不谋而合，特征是否起作用需要具体的分析和验证。从数据本身出发去寻找合适的特征。

在数据竞赛中，使用EDA完成数据分析的过程如下：

• 读取并分析数据质量；
• 探索性分析每个变量；
  • 变量是什么类型；
  • 变量是否有缺失值；
  • 变量是否有异常值；
  • 变量是否有重复值；
  • 变量是否均匀；
  • 变量是否需要转换；
• 探索性分析变量与target标签的关系；
  • 变量与标签是否存在相关性；
  • 变量与标签是否存在业务逻辑；
• 探索性分析变量之间的关系；
  • 连续型变量与连续型变量;
    • 可视化：散点图、相关性热力图；
    • 皮尔逊系数；
    • 互信息；
  • 离散变量与离散变量；
    • 可视化：柱状图、饼图、分组表；
    • 卡方检验；
  • 检查变量之间的正态性；
    • 直方图；
    • 箱线图；
    • Quantile-Quantile (QQ图)；

根据EDA我们可以得出以下结论：

• 变量是否需要筛选、替换和清洗；
• 变量是否需要转换；
• 变量之间是否需要交叉；
• 变量是否需要采样；

参考资料

[1] Kaggle知识点：数据分析EDA；
[1] 数据挖掘：探索性数据分析(EDA)；