数据治理：数据治理框架和标准

参考《一本书讲透数据治理》、《数据治理》等

数据治理并不是新概念，在国内外都有实践，这里重点介绍下国内外对数据治理的主流框架和标准

国际数据治理框架

国际上，主流的数据治理框架主要有：ISO数据治理标准、GDI数据治理框架、DAMA数据管理框架。对国际主流数据治理框架的理解，有助于我们建立符合自身业务需求的数据治理体系。

ISO数据治理标准

ISO/IEC 2015年发布ISO/IEC 38505标准，其完整的数据治理方法论如下：

• 数据治理目标：促进组织高效、合理地利用组织数据资源
• 数据治理地6个基本原则：职责、策略、采购、绩效、符合和人员行为。这些原则阐述了指导决策地推荐行为，每个原则描述了应该采取地措施，但并未说明如何何时由谁来实施。
• 数据治理模型：提出了E评估、D指导、M监督地方法论。通过评估现状和将来的数据利用情况，编制和执行数据战略和政策，以确保数据的使用服务于业务目标，指导数据治理的准备和实施，并监督数据治理实施的符合性等

• 内部需求：企业将围绕组织的战略目标疏凿数据文化，以确保数据之列策略达到其总体目标。由于数据预决策一样有价值，因此这种数据文化需要的数据访问、良好数据先骨干的组织行为处理依赖于相关环境中的所有做法和决策过程
• 外部压力：企业可能需要调整其数据治理战略和政策，以确保符合外部市场的压力对其的作用
  • 客户及利益相关方对数据可用性、治理和交互的期望
  • 竞争对手使用数据来改进或扩展其产品、服务和流程
  • 数据保留和处置要求
  • 适当处理偏见、歧视、和定性的决策义务
  • 有关共享或重用数据的自身产权问题
• 评估：评估数据治理时，相关机构，应考虑到组织内部要求和外部压力，此外理事机构应审查和判断目前和未来数据的管理和使用情况
• 指导：指导数据战略的政策制定和执行
  • 最大化企业对数据投资的价值
  • 根据据数据风险偏好管理与数据相关的风险
  • 确保组织的数据管理水平
• 监督：通过适当的系统测量，检测数据的使用情况
  • 确保数据被放到企业战略的实施中
  • 确保数据的使用和管理符合内部管理和外部法规监管要求
  • 确保数据安全和隐私问题，保证数据使用的透明度
  • 确保数据的存档或处置符合数据管理流程
  • 确保数据合规使用，包括数据共享、出售的相关权利和许可
  • 确保数据使用符合规范、并避免偏见或歧视

DGI数据治理框架

DGI数据治理研究所，是业内最早，最知名的研究数据治理的专业机构，于2004年推出DGI数据治理框架。

采用5W1H法则

图片来源《一本书讲透数据治理》

• Why：为什么要做数据治理：对应于DGI框架中的第1-2个组件：数据治理的愿景和目标
  • 愿景：主动的规则定义与一致性调整；为数据的利益干系人提供持续的跨职能的保护和服务；解决因违反规则而产生的问题
  • 目标：DGI认为数据治理目标的定义应该可量化、可衡量、可操作，且要服务于企业的业务和管理目标。且不同企业对于目标有不同侧重，一般企业的数据治理涵盖以下一个或多个侧重点：
    • 致力于政策、标准、战略制定的数据治理
    • 致力于数据质量的数据治理
    • 致力于隐私、合规、安全的数据治理
    • 致力于架构、集成的数据治理
    • 致力于数据仓库与商业智能的数据治理
    • 致力于支持管理活动的数据治理
• What：数据治理治什么：对应于DGI框架中的第3-6个组件：数据规则与定义、数据的决策权、职责、控制
  • 数据规则与定义，侧重业务规则和数据标准的定义
  • 数据的决策权，侧重数据的确权，明确数据归口和产权，为数据标准的定义、数据管理制度、数据管理流程的指定奠定基础
  • 职责，侧重数据治理职责和分工的定义，明确谁应该在什么时候做什么
  • 控制，侧重采用什么措施保证数据的质量和安全以及数据的合规使用
• Who：谁参与数据治理：对应DGI框架中的第7-9个组件：数据利益干系人、数据治理办公室和数据管理员
  • 数据利益干系人：是可能会影响或收到讨论数据影响的个人或团体，他们对数据治理会有更加准确的目标定位
  • 数据治理办公室：促进并支持数据治理相关活动
  • 数据管理员：由数据治理委员会或数据治理办公室指定的几个数据管理小组以解决特定的数据问题、负责特定业务域的数据质量监控和数据安全合规使用，并根据数据一致性、正确性和完整性等质量标准检查数据集，并发现解决问题
• How：如何开展数据治理：DGI框架的第10个组件：数据治理流程
  • 数据治理价值声明
  • 确定路径
  • 计划于资金准备
  • 策略设计
  • 策略部署
  • 策略实施
  • 监控、评估、和报告
• When：什么时候开展数据治理：包含在DGI的第10个组件中，用来定义数据治理的实施路径回答数据治理的时机和优先级等问题
• Where：数据治理位于何处：包含在DGI框架的第10个组件中，强调明确当前企业数据治理的成熟度级别，找到企业于先进标杆的差距是确定数据治理目标和策略的基础

DGI框架是一个强调主动性、可持续的数据治理模型，对实际治理实施的指导性很强

DAMA数据管理框架

DAMA国际数据管理协会。是一个由全球性数据管理和业务专业的志愿人士组成的非盈利协会，致力于数据管理的研究和实践，其出版的《DAMA数据管理知识体系指南》（DAMA-DMBOK）被业界奉为数据管理的圣经。

其用一个车轮图定义了数据管理的11个知识领域

• 数据治理：数据治理位于车轮图中央，是对数据管理的高层计划与控制
• 数据架构：定义了与组织业务战略相协调的数据资产蓝图，以建立战略性的数据需求，并满足需求的总体设计，包括数据技术架构、数据集成架构、数据仓库和商业智能架构以及元数据架构。数据架构要求在不同抽象层级，不同角度上描述组织的数据，以便更好的了解数据，帮助管理者做出决策
• 数据建模和设计：数据模型分为概念模型、逻辑模型和物料模型。建模方法有维度建模法、面向对象建模法，基于事实的建模法，基于时间的建模法以及非关系型数据建模方法等
• 数据存储和操作：以业务连续性为目标，包括存储数据的设计，实现和支持活动，以及在整个数据声明周期中从计划到销毁的各种活动。为IT运营提供可靠的数据存储基础设施，可以最大限度地降低业务中断的风险
• 元数据管理：分为业务元数据、技术元数据、业务元数据。元数据管理包括规划、实施和控制活动，以便访问高质量的集成元数据，包括定义、模型、数据流、以及其他至关重要的信息
• 数据质量管理：数据质量管理包括规划和实施质量管理技术，以测量、评估和提高数据在组织内的适用性。
• 主数据和参考数据管理：主数据是企业关键业务实体的核心共享数据，例如组织、人员、客户、供应商、物料等。参考数据是用于描述或分类其他数据，或者将数据与企业外部信息联系起来的任何数据，例如货币代码、地区代码等。主数据和参考数据管理是对企业核心共享数据的持续协调和维护，是关键业务实体真实信息以准确、及时、相关联的方式在各个系统之间得到持续使用
• 数据安全管理：数据安全管理的目的是确保数据隐私和机密性得到保护，数据不被破坏，并得到适当的访问，确保数据安全。降低风险和促进业务增长是数据安全管理活动的主要驱动因素。
• 数据集成和互操作：数据集成和互操作，主要目的是对数据移动，进行有效的管理。（在不同组织间流动）
• 文件和内容管理：用于管理非结构化数据和信息的全生命周期，包括计划、实施、和控制活动，尤其是支持法律法规遵从性要求所需的文档
• 数据仓库和商业智能：用来管理决策支持数据，并使得业务和管理人员通过分析报告从数据中获取价值，该技术赋能企业将不同来源数据整合到公共数据模型中，整合后的数据模型为业务运营提供洞察。DAMA-DMBOK2认为，数据仓库和商业智能是数据价值的提供者，而要提供数据价值离不开数据治理的支撑

国内数据治理框架

国内起步相对较晚，目前主要有GB/T 34960和 DCMM两个标准

GB/T 34960规定的数据治理规范

我国发布的信息化标准GB/T34960《信息技术服务治理》包含5部分：

• 通用要求
• 实施指南
• 绩效评价
• 审计导则
• 数据治理规范

其中第五部分数据治理规范提出了数据治理的总则和要求，为企业数据治理体系的建设提供了参考

《数据治理规范》包括顶层设计、数据治理环境、数据治理领域和数据治理过程四大部分

• 顶层设计
  • 战略规划：应保持与业务规划、信息技术规划一致，并明确战略规划的实施策略
  • 组织构建：应聚焦责任主体以及责权利，通过完善的组织机制，获得利益相关方的理解和支持，指定数据管理的流程和只读，以支持数据治理的实施
  • 架构设计：应关注技术架构、应用架构、和管理体系，通过持续的评估、改进和优化，以支撑数据的应用和服务。建立与战略一致性的数据架构，明确技术方向，管理策略和支撑体系，以满足数据管理、数据流通和数据洞察的应用需求
• 数据治理环境
  • 内外部环境：组织应分析业务、市场和利益相关方的需求，适应内外部环境变化，支撑数据治理实施。内外部环境包括：遵守法律法规；满足利益相关方需求；识别并评估市场发展、竞争地位和技术变革的变化等
  • 促成因素：包括获得数据治理决策机构的授权和支持；明确人员的业务技能和职业发展路径；关注技术发展趋势和技术体系建设；指定数据治理实施流程和制度；营造数据驱动的创新文化；评估数据资产管理能力和数据运营的水平
• 数据治理域
  • 数据管理体系：围绕数据标准、数据质量、数据安全、元数据管理和数据生命周期管理开展数据管理体系的治理
  • 数据价值体系：围绕数据流通、数据服务和数据洞察等，开展数据资产运营和应用的治理
• 数据治理过程
  • 统筹和规划：明确数据治理目标和任务，营造必要的治理环境，做好数据治理实施的准备。这一环节的工作包括：评估数据治理的资源、环境和人员能力等现状；指导数据治理方案的制定；监督数据治理的统筹和规划过程，保证现状评估客观、组织机构设计合理、数据治理方案可行
  • 构建和运行：构建数据治理实施的机制和路径，确保数据治理实施的有序运行。这一环节工作包括：评估数据治理方案与现有资源、环境、能力的匹配程度；指定数据治理的实施方案；监督数据治理的构建和运行过程，保证数据实施过程与方案的符合性和治理活动的可持续性
  • 监控和评价：监控数据治理过程，评价数据治理的绩效、风险和合规，保证数据治理目标的实施。这一环节工作包括：构建必要的绩效评估体系、内控体系或审计体系、制定评价机制、流程和制度；评估数据治理成效与目标的符合性；定期评价数据治理实施的有效性和合规性。
  • 改进和优化：改进数据治理方案，优化数据治理实施策略、方法和流程，促进数据治理体系的完善。这一环节的工作包括：持续评估数据治理相关资源、环境、能力、实施和绩效等；指导数据治理方案的改进；优化数据治理的实施策略、方法流程和制度，促进数据管理体系和数据价值体系的完善。

数据管理能力成熟度评估模型

GB/T 36073-2018《数据管理能力成熟度评估模型》DCMM，实在国家标准化管理委员会指导下，由全国信息技术标准化技术委员会编制的一份国家标准，于2018年发布并实施

DCMM按照组织制度流程技术对数据管理能力进行了分析和总结，提炼出组织数据管理的8个过程域，其共包括28个过程项：

• 数据战略：数据战略规划、数据战略实施、数据战略评估
• 数据治理：数据治理组织、数据制度建设、数据治理沟通
• 数据架构：数据模型、数据分布、数据集成与共享、元数据管理
• 数据应用：数据分析、数据开放共享、数据服务
• 数据安全：数据安全策略、数据安全管理、数据安全审计
• 数据质量：数据质量需求、数据质量检查、数据质量分析、数据质量提升
• 数据标准：业务术语、参考数据和主数据、数据元、指标数据
• 数据生存周期：数据需求、数据设计和开放、数据运维、数据退役

DCMM将组织的数据能力成熟度划分为：初始级、受管理级、稳健级、量化管理级、和优化级

本文概述的是国内外的主流的数据治理框架和标准，作为指导学习，当然不同企业仍然是根据企业自身情况参考。而DCMM数据能力成熟度这个是每个数据处理企业比定的级，也是企业数据成熟度能力的一个参考项，越来越多的企业合作伙伴重视此项评级。