数据治理-理论-1-基本概念

转载 https://www.sohu.com/a/152614302_771430

为什么需要数据治理

目前数据应用项目非常多，但真正取得预期效果的项目少之又少，而且开发过程困难重重，其中的一个重要原因就是数据质量问题导致许多预期需求无法实现。如果没有数据治理，再多的业务和技术投入都是徒劳的，因为很经典的一句话：Garbage in Garbage out。数据治理是保证数据质量的必需手段，从全球范围来看，加强数据治理提升数据质量已成为企业提升管理能力的重要任务。

数据治理概念

数据治理并不是一个新生事物，可以说，有数据的地方就存在数据治理，只不过随着数据应用的迅猛发展将它提到了一个高度，作为一个独立的研究领域。数据治理并没有标准的、严格的定义，概况地讲所有为提高数据质量而展开的业务、技术和管理活动都属于数据治理范畴。

下图说明了数据治理与其他几个数据管理职能的关系

数据治理的目标

• Ensure metadata management and data documentation
• Simplify data access and facilitate data usage as many collaborators as possible
• Ensure data quality and integrity
• Manage data security

数据治理体系框架

仅仅依靠技术手段，以建设系统的方式是难以有效解决数据治理面临的所有问题。构建数据治理体系是数据治理工作的基础，为了有序实施数据治理，应采用规划先行的原则，制定适合企业业务特点的管理流程，选择可行的技术方案和实施工具，明确数据治理的工作机制和工作内容，稳步推进数据治理各项工作。

战略：数据治理是在战略和规划的指导下进行实施的，包括业务发展目标、IT规划以及数据治理相关的发展规划。

机制：机制是数据治理工作实施的基础保障，通过组织、制度、流程的建设和执行得以落实。机制是数据治理工作的重点，数据治理执行效果就是机制落实的效果。

专题：数据治理专题是数据治理的工作内容，包括

• 元数据管理
• 数据标准
• 主数据管理
• 数据质量管理
• 数据集成与数据交换
• 数据资产
• 数据生命周期管理
• 数据安全管理

实施：数据治理工作最终在相关制度、规范和流程下通过数据治理组织借助技术手段和管理手段来实现。包括系统开发阶段为提高数据质量进行的校验设计;系统日常运维工作;数据分析应用阶段的数据集成;数据质量监控等。

数据治理管理措施

1. 提高全面思想认识
   数据治理是一个系统工程，需要管理层、系统开发人员、系统使用人员、系统维护人员多方协作才能进行。数据是企业的宝贵资产，各企业已经意识到数据质量的重要性，但没有将数据治理提到战略高度。

2. 成立数据治理组织
   数据治理组织可以设置三种角色，数据治理委员会、数据治理业务组、数据治理技术组。

3. 建立数据标准体系
   数据标准体系包括数据标准、技术标准、管理标准、数据质量标准等内容，可以成立由业务人员和技术人员组成的数据标准制定小组，负责数据标准体系的制定、维护、宣传、解释等工作。

4. 制定数据质量管控规范
   通过制定数据质量管控规范，使相关人员明确在数据产生、存储、应用整个生命周期中数据治理包含的工作内容和工作流程，形成统一管理体系。

5. 制定数据安全管理制度
   安全管理制度主要用来规范员工在日常工作中安全地使用数据，并指导技术人员实施数据安全工作。

数据治理技术措施

1. 构建企业级数据架构
   理想情况下，企业在信息化初期就应该规划整体数据架构。一个完整的数据架构主要包括：数据标准、数据库产品线、主数据、元数据、数据质量、数据安全、数据交换、数据仓库。每一部分都需要作为独立的专题去建设，而且必须是技术与管理相结合的建设过程，最终形成全局数据架构。

2. 加强信息系统设计
   产生数据质量问题的第一个环节就是生成数据的源系统，在数据源头解决数据质量问题是提高数据质量非常有效的措施。加强信息系统设计和开发可以通过系统功能自动地规避大量数据质量常见问题。

3. 建立主数据中心
   企业内部不同应用系统、不同部门间需要共享数据的现象非常普遍，建立主数据中心不仅能避免各应用系统相互共享数据形成网状结构，同时能够保证对外提供准确、一致的数据。

4. 搭建数据质量监控平台
   通过搭建数据质量监控平台可以实现数据质量自动检查、监控，平台包括数据质量检查规则库、规则执行引擎、数据质量报告、报告推送功能。平台的核心是规则库，与业务无关的规则由技术人员独立开发，与业务相关的规则需要技术人员和业务人员共同确定检查规则，然后编写规则脚本。规则执行引擎可以定时批量执行检查规则，及时发现数据质量问题，将数据质量报告第一时间推送给业务人员，有助于及时纠正问题数据。

5. 实施数据安全工作
   数据安全实施工作在数据安全管理制度的指导下执行，由技术人员完成，主要包括数据备份、恢复、脱敏、监控、审计等。

数据治理是企业信息化建设中提高数据应用水平和信息化管理水平的有效手段。数据治理是一项长期系统工程，贯穿于整个数据生命周期，不仅需要借助技术手段，更需要完善数据治理制度，包括规划、组织、机制、规范、流程等，只有企业各级人员高度重视和积极参与，逐步形成数据治理文化，数据治理才能取得成效，数据才能发挥更大的价值。