读书笔记--数据治理的应用实践与展望

      继延续上一篇文章，终于到数据治理这本书的收尾了，这段时间忙，一直没有及时更新这部分内容，本文主要讲述一些相对成熟的数据治理应用实践案例、数据治理的6大准备工作、6大误区和5个技术展望，希望对大家在开展数据治理工作及数字化转型工作有所帮助与参考。正如前面多次强调的一样，数据治理工作是一项重实践、持续性迭代、错综复杂的过程性系统工程，数据治理项目周期长，见效时间慢，价值体现间接，甚至需要做好背锅的一系列工作，本书整理出的经典方法论实践，我觉得非常有借鉴意义，就整理出来分享给大家，与大家共勉。数据治理作为企业数字化转型的必经之路，是企业未来用数据说话、用数据管理、用数据决策、用数据创新的基础，也是企业未来从业务驱动或流程驱动向数据驱动转变的基石，在整个世界数字化转型的大潮下，企业数据治理工作的开展不是选择题，而是必修题，企业要在未来竞争中开展业务提效和管理决策智能化，前提必须是数据驱动，因此，为了提升企业的市场竞争力和安全合规，企业都不得不开展数据治理工作，并将其作为企业重要的业务工作、常态化的日常工作来抓，重点抓。

一、两个典型的企业数据治理实践案例

在企业中开展数据治理工作，涉及的企业的方方面面，包括企业战略、组织机制、数据标准、管理规范、数据文化、技术工具等，相当于一个综合体。而且数据治理是企业数据项目开展的基础，数据仓库、数据中台、数据资产管理，主数据管理等项目的开展都离不开数据治理工作。以下是两个典型实践案例。

（一）、某电线电缆集团公司的主数据管理实践

包括企业简介、建设背景（存在缺乏统一规划、标准不一、横向纵向协同效率低、集成共享难等问题）、主数据普查情况摸清现状（人力、客商、物料域）、主数据管理解决方案和建设成效等。下面着重阐述后两部分。
1.主数据管理解决方案
1）管理组织建设，见下图所属，包括组织机构、归口部门和管控模式（集中或分散）


2）主数据标准建设，包括分类标准，编码标准，命名标准和描述规范。
3）主数据清洗方案，包括清洗范围，不同类型主数据清洗的注意事项等。
4）单源头主数据管理方案，达成集团范围内单一可信视图，识别每个主数据的来源去向。
5）多源头主数据管理方案，见下图，需要做多源头数据归集接口。

2.项目建设成效
通过项目建设，搭建主数据管理平台，进行主数据治理，提高主数据质量、实现企业内部的降本增效和管理创新。具体成效如下：
1）促进业务数字化集成化
2）促进业务管理规范化
3）促进业务管理精细化
4）促进管理决策科学化

  （二）、某能源公司的数据资产管理系统实践

包括企业简介、建设背景（存在数据多样性、再利用价值密度低、集成共享难等问题）、企业数据管理现状（数据复杂说不清、数据质量堪忧、缺乏数据标准）、数据资产管理解决方案和建设成效等。下面着重阐述后两部分。
1.数据资产管理解决方案
1）数据资产管理总体蓝图，见下图所属，包括元数据管理、数据标准管理和质量管理

2）数据管理成熟度评估，摸清企业所处的阶段，明确了改进的内容和路径等。
3）数据资产调研及梳理，见下图，包括价值链、业务域、确定数据域、设计数据模型、建立数据目录和映射数据源等。

4）数据资产管理体系建设，包括组织机构、标准体系、管理办法和流程建设等。
5）数据资产管理平台建设，包括数据标准管理、元数据管理和质量管理。
2.项目建设成效
通过项目建设，搭建数据资产管理平台，提升企业数据管理水平和数据资产使用效率，集中在数据标准、元数据和数据质量方面开展应用建设，形成统一的可视化数据资产管理平台，实现统一、自动化、开放的数据资产可视化管理。建设成效如下：
1）建立了数据资产管理体系，形成组织、流程、策略、标准、安全和技术支撑的有机结合的数据管理解决方案，提供企业信息化建设全方位的监管
2）建立平台，从产供销主价值链出发，对企业数据资产进行全面梳理盘点，形成资产地图，通过元数据的影响血缘分析，支撑业务指标跟踪追溯，为管理决策提供支撑
3）建立数据标准和管理体系，明确责任主体，统一规划和标准
4）建立数据质量规则定义、检验，问题分析、质量整改全生命周期模型，提供数据生产、交换、存储、管控全链路的质量监控，提升管控水平。 

 二、数据治理需要提前做好的6项准备工作

数据治理不仅仅能建立企业级的数据共识，让企业所有人员认识到数据的重要性和对企业的价值意义，而且能将数据作为资产，逐步盘活企业数据资产，让企业中的利益相关方了解到企业有哪些数据资产，在哪里，怎么用，用到如何等等。因此，如果想做好数据治理，需要提前具备以下条件：
1.管理层对数据治理价值的理解：决策、洞察，数据保护、安全合规。
2.合理评估企业数据管理的现状
3.选定数据治理的领头羊或团队
4.业务与IT的深度融合一起做
5.数据治理工具的选型，明确关注的重点和急需
6.数据治理咨询和实施专家

三、数据治理要提早明白的6大误区

数据治理作为企业数字化转型的必经之路，是企业系统集成、业务协同的集成，是实现企业业务一体化融合、加强集团管控等管理目标的重要手段方法。但在数据治理工作开展过程中，容易形成如下误区：
1.技术部门主导的盲目治理：明确治理的原因和核心驱动力，要聚焦目标，别贪大求全，要严控范围，不可漫无边际。
2.业务部门牵头的局部治理：易造成局部狭隘的数据治理，缺大局整体观。
3.重项目建设，轻持续运营：日常业务要持续改进，外包不一定好。
4.唯工具论：数据治理是一个集方法、标准、制度、流程、技术和工具为一体的解决方案吗，缺一不可。
5.重视结果，轻过程：治理是搭成共识的过程。讲普通话，写规范字的过程。
6.数据多源，适配困难：流程驱动实现多源数据归集融合，或通过中台思维的公共接口承接业务系统的数据接入。

四、未来数据治理的5大技术展望

未来，随着数据治理的不断演进，数据领域需要借助IT新技术（大数据、人工智能、物联网、区块链、数据湖、中台、数字孪生、数字化转型等）的应用融合，加速数据治理理论体系完善、技术体系发展和实践经验积累，主要有以下5个技术展望。
1.大数据下，主数据管理是否还有必要：主数据永远是企业的黄金数据，是承上启下的关联数据，永远不会死，非常重要。未来在主数据+人工智能方面进行应用升华，比如AI自动识别主数据，清理主数据，数据自动打标等。
2.大数据下，企业数据如何治理：本文提出了采、存、管、看、找、用的六字方针。看数据包括数据资产地图、数据流动分析、热度分析、血缘分析、质量问题分析等，找数据包括利用知识图谱从各种数据中抽取实体关系属性等，实现数据的快速定位和精准查询。，最终实现在数据看得见、找得到、管得住和用得好的情况下，体现数据的真正价值。
3.微服务下，企业数据如何治理：明确了治什么、在哪里治、怎么治理的问题，包括在线数据的处理方案和离线处理方案等。
4.区块链，助力企业数据资产管理：区块链本质是一种去中心化的分布式数据库，可以开展以下工作，基于区块链的数据资产确权，保护数据资产安全，提高数据质量，加速数据资产共享等。
5.人工智能，为企业数据治理插上翅膀：人工智能包括NLP、智能搜索、机器学习、知识获取、组合调度、模式识别、神经网络等。未来数据治理过程中，需要借助人工智能的地方非常多，具体如下：
1）在数据采集方面，通过图像、语音、nlp实现自动化采集各种类型数据，也包括通过机器学习技术，从历史数据中自动发现结构模式、关系，实体属性等
2）在建模方面，通过kg、机器学习、图数据库等技术，实现企业不同类型数据的文本识别，实体关系识别，挖掘企业中的暗数据。
3）在元数据管理方面，利用AI更好的管理和整合元数据。
4）在主数据管理方面，利用AI对数据集进行监控，让主数据管理变得自动高效
5）在数据标准方面，频度热度进行评估优化。
6）在数据治理管理方面，词频分析、记录自动合并，异常值检测、自动替换补全和删除处理等。
7）在数据安全方面，对敏感数据的实时、动态识别、自动化生成标注，自动分类分级。
8）在数据分析方面，实现数据的自动清洗处理，分类标记，识别数据关系，相关术语的连接等。