数据缺失类型:MCAR、MAR、MNAR

2022.01.23

    • 1.Missing Completely at Random(MCAR)
    • 2.Missing at Random(MAR)
    • 3.Missing Not at Random(MNAR)

参考:
AI for Medical Prognosis
以医生是否为每个病人记录血压为例,讲解三种缺失。
在数据集中,我们常将不含缺失值的变量称为完全变量,数据集中含有缺失值的变量称为不完全变量。

1.Missing Completely at Random(MCAR)

missingness not depend on anything,no bias (通过抛硬币,完全独立)
p(missing) = constant
数据缺失类型:MCAR、MAR、MNAR_第1张图片
每个病人是否被记录的概率相同均为0.5,则缺失数据和非缺失数据的分布是相似的,以年龄分布为例如下图。
数据缺失类型:MCAR、MAR、MNAR_第2张图片
数据的缺失是完全随机的,不依赖于任何不完全变量或完全变量,不影响样本的无偏性。简单来说,就是数据丢失的概率与其假设值以及其他变量值都完全无关。

2.Missing at Random(MAR)

missingness depend only on available information(例如依赖于年龄)
p(missing)≠constant
p(missing|age<40)=0.5≠p(missing|age>40)=0
年龄小于40则抛硬币决定是否记录,大于40则记录血压。而最终收集到的数据中年龄是可得到的。数据缺失类型:MCAR、MAR、MNAR_第3张图片
数据缺失类型:MCAR、MAR、MNAR_第4张图片
随机丢失意味着数据丢失的概率与丢失的数据本身无关,而仅与部分已观测到的数据(年龄)有关。也就是说,数据的缺失不是完全随机的,该类数据的缺失依赖于其他完全变量。

3.Missing Not at Random(MNAR)

missingness depend on unavailable information
p(missing)≠constant
p(missing|waiting)=0.5, p(missing|not waiting)=0
有其他患者等待则抛硬币来决定记录与否,无其他患者等待则记录数据。但是否等待是无法观测、无法收集到的数据。
数据缺失类型:MCAR、MAR、MNAR_第5张图片
最终的分布可能与MCAR差不多,但存在bias。
数据缺失类型:MCAR、MAR、MNAR_第6张图片
数据的缺失与不完全变量自身的取值有关。分为两种情况:缺失值取决于其假设值(例如,高收入人群通常不希望在调查中透露他们的收入);或者,缺失值取决于其他变量值(假设女性通常不想透露她们的年龄,则这里年龄变量缺失值受性别变量的影响)。
以上就是三种数据缺失类型,我们一般不能确定数据是否真的缺失,或者数据缺失是否依赖于未观察到的预测因子,但是可以通过了解不同的缺失类型,来理解丢失数据是如何造成有bias的模型。

MCAR可以根据其出现情况删除缺失值的数据,同时,随机缺失可以通过已知变量对缺失值进行估计。
在MNAR下,删除包含缺失值的数据可能会导致模型出现偏差,同时,对数据进行填充也需要格外谨慎。

你可能感兴趣的:(RS,数据挖掘,人工智能,数据分析)