【数据治理】数据清洗原型

构思了一个数据清洗的功能。对于数据清洗的关键是通过数据探查，制订出具体的清洗目标要求。为了简化数据清洗的复杂度，可以将清洗要求归纳为业务人员容易理解的约束，比如，非空、不含空格、唯一等这类简单的规则，也包括一些业务数据的约束，比如，身份证规则等。
一、数据清洗主页面：
通过各种条件可以找到要清洗的目标表，查看其每个字段的清洗要求。

二、增加清洗目标
为一个或多个字段添加清洗要求，比如，不能为空、不能含有空格等。为了支持复杂情况下的清洗逻辑，也可以自己写一段脚本进行清洗。

三、清洗报告
以“汇总指标+维度分析+明细数据”的思路展现清洗结果。其中，

• 当前指标：分布情况与详细数据正在分析的指标，上面所有的汇总指标均可以用来做分布分析；
• 分析维度：前面指标可以用来细分的维度，包括委办局、是否有问题、问题种类等；