数据管理篇之数据质量

第15章 数据质量

1.数据质量保障原则

完整性
准确性
一致性
及时性

2.数据质量方法概述

  • 消费场景知晓

(1)数据资产定义

分为五个等级:
① 毁灭性质(A1),数据一旦出错,将会引起重大资产损失,面临重大受益损失,造成重大公共风险;
② 全局性质(A2),数据直接或间接用于集团业务和效果的评估、重要平台的运维、对外数据产品的透露、影响用户在阿里系网站的行为等;
③ 局部性质(A3),数据直接或间接用于内部一般数据产品或者运营 / 产品报告,如果出现问题会给事业部或业务线造成影响,或者造成工作效率损失;
④ 一般性质(A4),数据主要用于小二的日常数据分析,出现问题几乎不会带来影响或者影响很小;
⑤ 未知性质(Ax),不能明确说出数据的应用场景,则标注为未知;
注:A1>A2>A3>A4>Ax,如果一份数据出现在多个应用场景中,则遵循就高原则

(2)数据资产等级落地方法

先给不同数据产品或者应用划分数据资产等级,再依托元数据的上下游血缘,可以将整个加工消费链打上某一类数据资产的标签。

  • 数据加工过程卡点校验

(1)在线系统卡点校验

主要是指在在线业务系统的数据生成过程中进行的卡点校验。
问题:在线数据和离线数据的一致性
方法:工具和人双管齐下

工具:首先是发布平台,其次是数据库表的变化感知
人:须知哪些是重要的核心数据资产,须知哪些只是内部数据分析使用

(2)离线系统卡点校验

首先是代码提交时的卡点校验
其次是任务发布上线时的卡点校验
最后是结点变更或数据重刷前的变更通知

  • 风险点监控

(1)在线数据风险点监控

在线业务系统的数据生产过程需要保证数据质量,主要根据业务规则对数据进行监控。阿里巴巴主要采用实时业务检测平台 BCP ,用于保障在线系统的数据质量。

(2)离线数据风险点监控

① 数据准确性

阿里巴巴主要使用DQC来保障数据的准确性。

② 数据及时性

任务优先级:首先确定业务的资产等级,等级高的业务所对应的消费节点自然配置高优先级,一般业务则对应低优先级,确保高等级业务准时产出。
任务报警:和优先级类似,也是通过叶子节点传递;实时监控
摩萨德:根据离线任务的运行情况实时决策是否告警、何时告警、告警方式、告警给谁等。包括强保障监控和自定义监控。

  • 质量衡量

(1)数据质量起夜率
(2)数据质量事件
(3)数据质量故障体系

故障定义
故障等级
故障处理
故障review

你可能感兴趣的:(大数据之路书籍阅读,人工智能,大数据)