数据清洗规则

数据清洗规则

一、 规则总览
数据清洗针对的对象主要有四个——缺失值、异常值、重复值和无用值，针对不同对象的不同形式，采取相应的方法进行处理，从而得到期望的数据。
1.1 非空校核
要求字段为非空的情况下，对该字段数据进行校核。如果数据为空，需要进行相应处理。
1.2 重复校核
多个业务系统中同类数据经过清洗后，在统一保存时，为保证主键唯一性，需进行校核工作。
1.3 异常值校核
包括取值错误、格式错误、逻辑错误、数据不一致等，需根据具体情况进行校核及修正。
1.4 无用值校核
目前业务中不需要使用到的、无价值的数据字段，需要进行校核及去除。

二、 具体规则
2.1缺失值清洗
2.1.1确定缺失值范围：按照缺失比例和字段重要性，分别制定策略：
(a) 重要性高，缺失率低：通过计算进行填充；通过经验或业务知识估计；
(b) 重要性高，缺失率高：尝试从其他渠道取数补全；使用其他字段通过计算获取；
© 重要性低，缺失率低：不做处理或简单填充；
(d) 重要性低，缺失率高：去掉该字段。
2.1.2填充缺失内容，某些缺失值可以进行填充，方法有以下三种：
(a) 以业务知识或经验推测填充缺失值；
(b) 从其他业务系统数据中取数补全；
© 以同一指标的计算结果(均值、中位数、众数等)填充缺失值；
(d) 以不同指标的计算结果填充缺失值。

2.2重复值清洗
重复数据可以进行去重或者进行标记。

2.3 异常值清洗
2.3.1 取值错误清洗：
(a) 范围错误：可以通过添加约束的方式过滤掉指定字段数值超出范围的数据。
(b) 位数错误：可以通过其他业务系统数据进行更改。
2.3.2 格式错误清洗：格式内容问题主要有以下几类：
(a) 时间、日期、数值、全半角等显示格式不一致：在整合多来源数据时也有可能遇到，将其处理成一致的某种格式即可；
(b) 内容中有不该存在的字符：某些内容可能只包括一部分字符，比如身份证号是数字+字母，中国人姓名是汉字。最典型的就是头、尾、中间的空格，也可能出现姓名中存在数字符号、身份证号中出现汉字等问题。这种情况下，需要以半自动校验半人工方式来找出可能存在的问题，并去除不需要的字符；
© 内容与该字段应有内容不符：某些字段内容应该是数值，而实际数据中字段的内容却是字符串。这种情况可以采用类型转换来处理。
2.3.3逻辑错误清洗，主要包含以下几个步骤：
(a) 去除/替换不合理值；
(b) 修正矛盾内容。

2.4.无用数据清洗
无用数据字段可以直接进行删除。但在进行该过程的时候，要注意备份原始数据。