为什么要做数据治理以及如何进行数据治理？

大家好，我是王老狮，今年工信部进行数据安全管理认证，公司很“幸运”的倍挑中进行试点执行，那么为了保证数据安全合规且满足数据管理等级的认证，今年做了很多的动作。那么就根据数据治理的一些经验给大家进行分享一下。

数据治理背景

政策背景

国内

• 2019年11月， 党的十九届四中全会在《中共中央关于坚持和完善中国特色社会主 义制度 推进国家治理体系和治理能力现代化若干重大问题的决定》 中首次明确数据作为生产要素参与社会分配。
• 2020年3月发布的《中共中央 国务院关于构建更加完善的要素市场化配置体制机制的意见》 中提出， 要加快培育数据要素市场， 推进政府数据开放共享， 提升社会数据资源价值， 加强数据资源整合和安全保护。
• 2020年5月发布的《中共中央 国务院关于新时代加快完善社会主义市场经济体制的意见》 中提出， 要加快培育发展数据要素市场， 建立数据资源清单管理机制， 完善数据权属界定、 开放共享、 交易流通等标准和措施， 发挥社会数据资源价值。 推进数字政府建设， 加强数据有序共享， 依法保护个人信息

海外

2019年12月， 美国发布《联邦数据战略与治理》
2020年02月， 欧盟发布《欧洲数据战略》
2020年09月， 英国发布《国家数据战略》

总结

1. 多国将数据战略上升为国家战略
2. 数据治理是促进数据价值实现重要保障
3. 数据开放共享是释放数据价值基础条件
4. 数据质量管理是释放数据价值的关键环节

技术背景

DIKW金字塔模型

DIKW金字塔模型 : 数据是基础， 数据质量是数据价值的根本

技术挑战

• 信息孤岛： 孤岛现象突出， 业务系统“各自为战”数据分散， 且数据已业务为导向
• 标准不统一： 未制定统一的数据标准， 各系统业务口径和技术定义差距较大
• 数据质量低： 各系统数据良莠不齐、 质量低数据格式不统一
• 数据管理成本高： 数据很难得到高效的组织与管理
• 数据共享难： 未建立数据全局数据共享机制， 实现数据互联互通
• 数据安全： 数据安全问题日益严峻
• 多模态： 数据不可用（非结构化数据）、 不能用（质量低） 、 不好用（未有效整合） 问题突出

数据治理的目标和意义

• 数据架构：合理
• 数据质量：提升
• 数据标准：权威
• 数据目录：清晰
• 数据流通：共享
• 数据价值: 放大
• 数据安全：可控
• 数据资产： 家底清、 底数明

目标： 进得来、 管得了、 治理好、 看得见、 控得住、 可共存
提升数据的使用价值

实施方法介绍

PAI实施方法论介绍

P:Process-oriented 流程化
提供工作流程与模板
将数据治理工作拆解为需求调研、 概要设计、 详细设计、 数据开发、 部署运维、 培训六个阶段， 并规定每个阶段的输入输出内容及模板
A:Automation 自动化
提供产品与工具
产品（赋能） 包括： 资产管理平台、 标签管理平台、 资源服务平台、 BI
工具（提效） 包括： 针对数据接入、 开发、 调度等提供工具批量化实施
I:Intelligence 智能化
提供非结构化数据处理和分析能力， 及结构化数据治理效率和质量增强能力
非结构化： 文本、 视频、 语音等处理能力、 图谱构建能力
结构化： 数据标准化、 建模、 数据融合加工

四大能力建设

聚：数据汇聚能力，面对数据来源各异，数据类型纷繁多样，数据时效要求不一等各类情况，数据治理首先能把各类数据接入到平台中，“进的来”是第一步。

治：狭义数据治理能力，包括数据标准、数据质量、元数据、数据安全、数据生命周期、主数据。核心是保证数据标准的统一、借助元数据掌握数据资产分布情况及影响分析和血缘关系、数据质量地持续提升、数据资产的安全可靠、数据资产的淘汰销毁机制以及核心主数据的统一及使用。

通：数据拉通整合能力，原始业务数据分散在各业务系统中，数据组织是以满足业务流转为前提。后续数据需求是根据实际业务对象开展而非各业务系统，所以需要根据业务实体重新组织数据。比如政府单位针对人的综合分析通常会涉及：财产、教育程度、五险一金、缴税、家庭成员等，需要以身份证号拉通房管局、交通局、教育局、人社局、税务局、卫健委等多个委办局数据。数据拉通整合能力是后续满足多样化需求分析的基础，是数据资产积累沉淀的根基，也是平台建设的另一个重点。

用：数据服务能力，数据资产只有真正赋能于前端业务才能发挥实际效用，所以如何让业务部门快速找到并便利的使用所需数据资产是数据治理平台的另一项核心能力。

P：plan，标准、规划、流程制定；D：do，产品工具辅助落地；C：check，业务技术双重检查保证；A：action，持续优化提升数据质量及服务。

狭义数据治理

广义的数据治理

数据治理流程化介绍

数据类项目交付流程

数据治理流程化

数据治理自动化

产品赋能