2019-08-06

数据质量

15.1数据质量保障原则

1.完整性

完整性是指数据的记录和信息是否完整，是否存在缺失的情况。

2.准确性

准确性是指数据种记录的信息和数据是否准确，是否存在异常或者错误的信息。

3.一致性

4.及时性

数据是小时级别或者实时级别的。阿里的交易大屏就做到了秒级。

15.2数据质量方法概述

1.消费场景知晓

2.数据生产加工各个环节卡点校验

在线系统：OLTP

离线系统：OLAP

3.风控点监控

4.质量衡量

5.质量配套工具

15.2.1消费场景知晓

1.数据资产等级定义

毁灭性质

全局性质

局部性质

一般性质

未知性质

2.数据资产等级落地方法

15.2.2数据加工过程卡点校验

1.在线系统卡点校验

2.离线系统卡点校验

首先，是代码提交时的卡点校验。在此背景下，我们上线了代码扫描工具SQLSCAN

其次，任务发布上线时的卡点校验。

最后，节点变更或数据重刷前的变更通知。

15.2.3风险点监控

1.在线数据风险点监控

实时业务检测平台BCP，用于保障在线系统的数据质量。

2.离线数据风险点监控

（1）数据准确性

DQC检查

（2）数据及时性

任务优先级

任务报警：监控报警系统

摩萨德：离线任务的监控报警系统

出错告警

完成告警

未完成告警

周期性告警

超时告警

15.2.4质量衡量

1.数据质量起夜率