数据清洗常见问题及处理方法

数据清洗常见问题及处理方法_第1张图片
数据清洗

数据清洗的相关理解

数据清洗指对数据库中存在的错误、不完整、格式有误或者多余的数据进行更正、填补、剔除的操作行为;数
据清洗的本质目的是提升数据的质量,提供合适的数据用于的数据挖掘、展示。同时也会有加强各信息系统的
数据统一性
一、数据需要清理的问题

对各种问题数据进行对应方式的处理,使其得到统一、可用、易用的数据

常出现问题:

  1. 数据不完整(即值缺失)——例如人的属性中缺少婚否、年龄等
  2. 数据值不匹配(元数据为人工填入的情况下该问题较多)——例如在婚否的数据标签中填的是性别男
  3. 数据重复——不同来源的数据出现重复的情况
  4. 数据不合理——获取的数据与常识不符,例如年龄大于150岁
  5. 数据不一致——不同数据源的同一数据语意冲突
  6. 数据无用——目前业务上所不需要使用到的、无价值的数据

针对不同的问题我们可以通过不同的方式进行对应的思路:

数据不完整的解决方法

  1. 一般情况下缺失的值需要人工手动填入
  2. 通过其他数据进行推导来补全。例如使用省份证号推算出年龄、出生地、籍贯等。一般是通过平均值、最大值、最小值、概率统计等方式来补全缺失项
  3. 数据剔除。如果没有办法进行数据完整的补全,为了不影响整体数据的质量,需要将其剔除

数据值不匹配

  1. 人工手动进行处理

数据重复的解决方法

  1. 按主键去重。用sql或者excel去除重复记录即可
  2. 编写规则,按规则去重

数据不合理的解决方法

  1. 设定强制合法规则范围。凡是不在此范围内的,强制设为最大值或者将其剔除
  2. 设定警告规则。凡是不在此规则范围内的,进行警告,然后人工处理
  3. 离群值人工处理。使用分箱、聚类、回归等方式发现离群值

数据不一致的解决方法

  1. 设定强制合法规则范围。凡是不在此范围内的,强制设为最大值或者将其剔除
  2. 设定警告规则。凡是不在此规则范围内的,进行警告,然后人工处理
  3. 离群值人工处理。使用分箱、聚类、回归等方式发现离群值

你可能感兴趣的:(数据清洗常见问题及处理方法)