ML入门——EDA探索性数据分析（上）

本系列其他全部链接：
ML入门——EDA探索性数据分析（上）
ML入门——EDA探索性数据分析（中）(Seaborn)
ML入门——EDA探索性数据分析（下）(特征工程)

前言：在传统的统计分析方法中，通常都是先假定数据服从某种分布，然后运用这种模型进行预测，以概率论为基础，做各种的参数检验。

EDA“抛开”概率理论，从数据出发，强调数据可视化。

image

---

1.什么是EDA？

摘抄网上的一个中文解释：

是指对已有的数据（特别是调查或观察得来的原始数据）在尽量少的先验假定下进行探索，通过作图、制表、方程拟合、计算特征量等手段探索数据的结构和规律的一种数据分析方法。特别是当我们面对大数据时代到来的时候，各种杂乱的“脏数据”，往往不知所措，不知道从哪里开始了解目前拿到手上的数据时候，探索性数据分析就非常有效。探索性数据分析是上世纪六十年代提出，其方法有美国统计学家John Tukey提出的。

2.基本步骤

2.1 导入不可或缺的工具包

1. 用于可视化：Matplotlib、Seaborn

2. 用于数据处理：Numpy、Pandas

3. 用于统计分析：Sklearn、Statsmodels

4. 用于忽略烦人的warning：warnings

import warnings
warnings.filterwarnings("ignore")

2.2 数据导入和观察

1. 观察数据的基本情况：df.head()、df.info()

2. 查看不同类型变量的基本统计信息

   • 数值型变量：df[["Survived","Age", "SibSp", "Parch"]].describe()

   • 分类型变量：df.describe(include=[np.object])

     [注意]：分类型变量的describe与数值型变量的describe不同

2.3 缺失值处理

一般真实数据中，变量都会存在着缺失值的情况。

• 从df.describe()反馈的信息中，count这一行数据反映了不同字段的数量；

  

  image

• 从df.info()反馈的信息中，也可观测到各字段not-null的数据量和全部数据的总量。

  

  image

[处理方法]一般有如下三种，其中2种比较推荐，1种慎用：

1. 直接删除某一列字段

   当该字段中大部分数据都为null的时候，对于后期数据贡献非常小，无法对缺失数据进行弥补。像Cabin有超过70%以上的缺失值。

2. 填补缺失值

   当字段中数据缺失量不大，且对于分析有重要贡献的，采用不同策略进行弥补。像Age字段缺失100多数据。

   • 采用仅考虑当前字段的统计量进行填充（例如median、mean）

   • 综合考虑其他因素进行分组，用分组后的统计量进行填充。例如，综合考虑Sex、Pclass等。

3. 删除具有缺失值的行(慎用，不推荐)

   因为删除缺失某一字段的整行，会对其他非缺失的变量所能提供的有用信息造成影响。

2.4 变量分析

从分析的变量数量来看，可以分为单变量分析和多变量分析。

2.4.1 单变量分析(待补充)

直方图

• 对称？
• 分散？
• 异常值？
• 有间隙？

箱线图

• 异常值？
• 对称？
• 比较几批数据的形状

正态性检验?

2.4.2 双变量分析

一般都会结合着任务目标（某一变量A），去粗略统计并分析其余变量对变量A的影响。例如，分析：哪些因素会决定生还概率。

2.4.2.1 因变量Y(离散)-自变量X(离散)

1. 从计算数值的角度

   • 方法一：使用经典的分组-聚合-计算。

     df[['Pclass', 'Survived']].groupby('Pclass').mean() .sort_values(by='Survived', ascending=False)

   • 方法二：使用pd的pivot_table函数

     df.pivot_table(values='Survived', index='Pclass', aggfunc=np.mean)

     参数解释：

     • values: 聚合后被施加计算的值，这里我们施加mean函数

     • index: 分组用的变量

     • aggfunc: 定义施加的函数

2. 从可视化的角度

   一般双变量之间的关系分析，采用条形图来进行绘制。

   sns.barplot(data=df, x='Pclass', y='Survived', ci=None)

2.4.2.2 因变量Y(离散)-自变量X(连续)

1. 从计算数值的角度

   将连续变量离散化是建模中的一种常用方法，即：将某一个变量所在区间分割为几个小区间，落在同一个区间的观测值用同一个符号表示。

   [处理方法]：

   • cut函数（等距）：将年龄的区间均匀分割为n分

   • qcut函数（等频）：选取区间以至于每个区间里的观察值个数都是一样的

     # 使用cut函数
     # 可以看到每个区间的大小是固定的，大约是16岁
     titanic_df['AgeBand'] = pd.cut(titanic_df['Age'], 5)
     titanic_df.head()
     

     进而，可求出落在不同区间的人数、以及不同区间的因变量的统计量

     df.pivot_table(values='Survived',index='AgeBand', aggfunc='count')

     df.pivot_table(values='Survived',index='AgeBand', aggfunc=np.mean)

2. 从可视化的角度

   • 连续变量离散化之后，就等同于离散的X-离散的Y了，使用条形图可直观看出各不同区间的分布情况。

     sns.barplot(data=titanic_df, x='AgeBand', y='Survived', ci=None)
     

     

     image

   • 连续变量不离散，那么直接使用直方图即可画出来。

     sns.FacetGrid(titanic_df, col='Survived').map(plt.hist, 'Age', bins=20, normed=True)
     

     

     image

2.4.3 多变量分析

2.4.3.1 因变量Y(离散)-自变量X1..Xn(离散)

1. 从计算数值的角度

   同样是通过分组-聚合的计算方式，只不过，这里index是复合的index。df.pivot_table(values='Survived', index=['Pclass', 'Sex'], aggfunc=np.mean)

image

2. 从可视化的角度

   这里提供两种作图的方式，分组条形图和分组点图。

   关键参数为hue,其作用是根据hue的变量进行分组。

   • 分组条形图

     sns.barplot(data=titanic_df, x='Pclass', y='Survived', hue='Sex', ci=None)
     

     

     image

   • 分组点图

     sns.pointplot(data=titanic_df, x='Pclass', y='Survived', hue='Sex', ci=None)
     

     

     image