数据质量管理十步流程

文章转载自 菜菜菜叶子子 在知乎上的专栏文章 数据质量管理十步流程
版权归原作者所有,如有侵权请告知

---

1.定义业务需求和方法

明确数据质量管理的重点, 时机和目标，来指导整个项目期间的所有工作.

目标:

1. 明确信息环境－数据, 流程, 人员, 组织以及与业务情况相关的技术.
2. 按顺序排列并最终确定项目重点关注的业务问题.

输入:

1. 亟需解决的数据质量业务需求和时机.
2. 已知现存的数据质量问题.
3. 企业的需求（以及任何对当前信息环境有帮助的资料，如数据模型, 软件架构, 组织结构图）.

工具和技术:

1. 实地调研.
2. 过往实践经验.
3. 组织结构图.
4. 费效矩阵.
5. 优先级排序技术.

输出:

1. 待解决问题的明确描述，以及它们与数据质量的关系.
2. 信息环境的明确描述.
3. 初步沟通方案.
4. 项目方案: 项目章程, 背景图, 工作分解结构, 实践安排表, 预计所需的资源.

---

2.分析信息环境

收集, 整理并分析与数据质量相关的信息环境. 明确信息生命周期，确保相关数据得以评估. 设计数据获取与评估方案.

目标:

1. 收集, 整理和分析当前需求, 数据及规范, 流程, 人员, 组织以及业务问题相关技术细节.
2. 提供信息生命周期的文件资料.
3. 制定数据获取和评估的初步方案.

输入:

1. 来自步骤1的输出
2. 待解决问题的明确描述，以及它们与数据质量的关系.
3. 信息环境的明确描述.
4. 初步沟通方案.
5. 项目方案: 项目章程, 背景图, 工作分解结构, 实践安排表, 预计所需的资源.

其他输入: 与业务问题和信息环境有关的资料

1. 需求和约束: 业务, 技术, 法律, 合同, 规划, 内部政策, 安全要求, 保密性 .
2. 数据规范.
3. 业务流程.
4. 工作角色和职责.
5. 技术体系结构和数据模型.

工具和技术:

1. 信息质量框架.
2. 信息生命周期.
3. 信息生命周期方法.
4. 数据捕获.
5. 结果分析.
6. 数据质量工具.

输出:

1. 数据生命周期.
2. 数据获取和评估方案.
3. 分析信息环境的结果: 历史文档资料，影响数据质量的潜在因素及根本原因和解决建议.
4. 确定最终需求.
5. 详细的数据列表和数据规范.
6. 数据模型: 包含了解数据结构和数据关系所需的细节.
7. 技术背景.
8. 流程细节.
9. 组织结构, 角色和职责.

---

3.评估数据质量

针对适用于这一问题的数据质量维度，评估数据质量. 评估结果用来确定数据质量问题的根本原因, 需要改进的地方.

目标:

1. 评估适用于业务问题的数据质量为度.

输入:

1. 来自步骤2的输出:

方法和技术:

1. 适用于维度的技术.
2. 适合进行评估的工具: 数据剖析工具, 报表工具或SQL, 数据清洗工具以及其他数据质量相关工具.

输出:

1. 数据质量评估结果.
2. 对业务的潜在影响和根本原因.
3. 初步行动建议.

---

4.评估业务影响

使用各种技术来评估劣质数据对业务的影响. 该步骤为业务改进, 确定适当的资源投资提供依据.

目标:

1. 使用定性及定量方法确定数据质量问题对业务的影响.

输入:

1. 来自步骤1-3的输出.

工具和技术:

1. 适用于特定业务影响技术的方法，如各类调查模版.

输出:

1. 业务影响评估结果.
2. 基于影响结果的行动建议.

---

5.确定数据质量问题原因

确定引起数据质量问题的根本原因，并区分优先次序，以及为解决这些问题的具体建议.

目标:

1. 确定数据质量问题的根本原因，并对其优先级进行划分.
2. 制定建议.

输入:

1. 历史经验以及步骤2-4中获得的输出.

工具与技术:

1. 适用于特定根本原因的技术，如因果图, 鱼骨图.
2. 回报矩阵.

输出:

1. 解决数据质量问题的根本原因的具体建议.
2. 基于业务影响结果的具体建议.

---

6.制定提高方案

确定最终具体解决方案.

目标:

基于数据质量或业务影响评估结果，制定行动方案.

输入:

数据质量:
1. 高优先级问题, 根本原因以及解决问题的具体建议列表.
2. 数据质量评估结果的输出.

业务影响:

1. 业务影响评估结果以及基于评估的行动建议.
2. 优先级划分: 费效矩阵.
3. 熟悉的规划方法.

输出:

1. 解决根本原因, 预防数据质量问题和纠正数据错误的具体行动方法.
2. 受方案影响的人员.

---

7.预防未来数据错误

实施解决引起数据质量问题的根本原因的解决方案.

目标:

1. 通过处理数据错误发生的原因来预防未来发生数据错误.
2. 实施适当的提高方案.
3. 确保用于处理数据错误处理的投资不浪费.

输入:

1. 来自步骤6的输出.

工具和技术:

1. 为修正每一类问题的数据错误适用的工具和技术.
2. 将数据剖析和数据清洗工具的功能作为标准流程的一部分.

输出:

1. 解决根本原因和预防未来数据错误的方案.
2. 活动实施而给当前业务带来的变更.
3. 受业务变更影响的人员.

---

8.纠正当前数据错误

实施数据纠正步骤.

目标:

实施纠正现有数据错误的解决方案.

输入:

1. 步骤3, 步骤6的输出.
2. 实施变更的小规模试点.
3. 受影响的人员.

工具和技术:

1. 数据清洗工具.
2. 可以大规模更新数据的应用软件.
3. 与现有应用软件相关的标准接口.

输出:

1. 依据规范纠正的数据.

---

9.实施控制

监控和核实所进行的改进. 通过标准化, 归档和对改进进行持续监测，维护结果.

目标:

1. 实施持续的监测和度量.
2. 监测和确认已实施的改进措施.
3. 确定包含数据质量控制的新解决方案.

输入:

1. 步骤6-8中的输出.

工具与技术:

1. 取决于所实施的控制措施.

输出:

1. 所实施的控制措施.

---

10.沟通行动和结果

归档和沟通质量管理效果, 所做的改进和改进的结果. 其中沟通非常重要.

目标:

1. 在项目期间，对结果和进展情况进行适当的沟通.

输入:

1. 来自任何步骤的结果.

工具和技术:

1. 沟通方案模版.
2. RACI.
3. 其他沟通与表达技术.

输出:

1. 沟通方案和时间表.
2. 表达和培训材料.
3. 根据时间表和沟通方案完成沟通.