华为数据之道-读书笔记7

打造“清洁数据”的质量综合管理能力

一、基于PDCA的数据质量管理框架

1、什么是数据质量

       华为数据质量指“数据满足应用的可信程度”，有以下6个维度

• 完整性：数据在创建、传递过程中无缺失和遗漏，包括实体完整、属性完整、记录完整和字段值完整四个方面。
• 及时性：及时记录和传递相关数据，满足业务对信息获取的时间要求。数据交付要及时，抽取要及时，展现要及时；数据交付时间过长可能导致分析结论失去参考意义。
• 准确性：真实、准确地记录原始数据，无虚假数据及信息。数据要准确反映其所建模的“真实世界”实体。
• 一致性：遵循统一的数据标准记录和传递数据和信息，主要体现在数据记录是否规范、数据是否符合逻辑。
• 唯一性：同一数据只能有唯一的标识符。体现在一个数据集中，一个实体只出现一次，并且每个唯一实体有一个键值且该键值只指向该实体。
• 有效性：数据的值、格式和展现形式符合数据定义和业务定义的要求。

2、数据质量管理范围

       流程质量是基于流程结果评估业务执行的好坏，数据质量更关注业务对象、业务规则、业务过程、业务结果等数据是否得到了及时记录。

3、数据质量的总体框架

       数据质量管理以数据清洁为目标，以业务需求为驱动，通过PDCA循环，提升数据质量，达到数据质量结果满意。

• 自上而下打造数据质量领导力
• 全面推进数据质量持续改进机制
• 不断加强数据质量能力保障

二、全面监控企业业务异常数据

       只要涉及人为干预，总会存在数据质量问题。问题的发现既可以“正向”主动监控，也可以“逆向”通过