人类社会已经悄然进人一个数据为王的时代,“ 数据资产”正逐步成为影响未来产业兴衰的主要决定性因素之一。
需要指出的是,尽管“数据即资产” 已经成为当前主流的产业趋势和思维方式,但如何管理数据资产却是在实践中的一大难题。
长期以来,企业信息系统中堆积了大量的数据,包括各种信息系统运行所依赖的数据、外部源系统采集的数据,终端用户或一线业务人员填报的数据、信息系统间同步数据的接口文件、各类业务报表、计算产生的企业核心指标、信息系统自身管理需要的权限、日志等数据。甚至更进一步,企业日常工作中产生的电子文件、纸质文件、电子表格、报表、图形、电子图像文件、以及音频和视频录音,都可以认为是数据资源。
那什么才是数据资产呢?《数据资产管理实践白皮书(4.0版)》将数据资产定义为:由企业拥有或者控制的,能够为企业带来未来经济利益的,以物理或电子的方式记录的数据资源。这说明,不是所有的数据都能构成数据资产,数据资产是专指能够为企业产生价值的数据资源。
但企业在对于如此宝贵的数据资产使用过程中,却不是一帆风顺的,往往存在着各种各样的问题:
数据定义不统一,导致业务人员作出错误的判断
数据源不规范,导致无效的数据加工
关键数据缺失,导致管理层决策失误
数据加工流程混乱,一线业务人员不能及时得到可用数据,错失商机
数据分布杂乱,核心业务发展数据长期闲置不能利用起来促进生产
数据评估手段缺失,数据准确度不可信,导致数据资产价值大打折扣
缺乏管控工具,信息系统核心数据模型掌握在第三方外包企业手中
数据不开放,各业务联合开展数据合作互通受限
………
想要最大化利用数据资产这个宝藏,只有靠企业管理层高度重视,从上自下科学开展数据资产管理活动,才能发挥数据资产的最大价值。
数据资产管理,有时也会称之为数据治理,指的就是企业采取各种管理活动,用来保证数据资产的安全、完整、高质量和有效利用,从而提高数据为企业带来的经济效益,以保障和促进各项生产业务发展,该领域目前也是大数据时代里企业前瞻布局、提高核心竞争力的基础。
广义的数据资产管理一般包括了三个层面的内容:
首先是对数据资产的管控,先管起来,管好,让企业数据更加准确、一致、完整、透明、安全,没有歧义,方便获得,来源统一,降低采集、开发、管理、沟通和使用中成本。
其次是数据资产的应用,目的是使得企业数据在使用过程更为人性化、易用、快捷、智能,从而提升利用企业管理层和业务人员根据数据作出管理、业务决策的水平。
最后是对数据资产的运营,需要能支持企业数据资产的分发、开放、交换、交易、共享等数据对外服务的实现,从而促进数据资产的价值实现。
业界对数据资产管理理论方面的研究,比较成熟的包括DAMA的数据管理职能框架、DGI数据管控框架、Gartner企业信息能力成熟度模型(the EIM Maturity Model)、CMMI数据管理成熟度模型(DMM)、IBM企业数据管理能力成熟度模型及一些咨询公司如毕马威、普华永道等发布的细分行业数据管理体系架构,我国还有全国信标委大数据标准工作组发布的数据管理能力成熟度评价模型(DCMM)等,可以说,数据资产管理方面的理论研究已经比较充分,但如何从理论走向实践,却是一个不小的挑战。
如果把数据资产管理比作一场战争,除了要有好的士兵、组织策略、战略战术、调度计划、部署方案,更重要的是要有战斗武器,工具就像是战争中的战斗武器,不但必不可少,而且得用好,要能切实把数据资产管理理论研究成果用软件工具落实在日常数据管理工作中,才是真正走向了实践。
数据资产管理是一项常态化的系统工程,不可能一蹴而就,大到数据政策的制定、组织的变革、流程的设计、技术平台的搭建,小到数据口径的梳理、数据值域的定义、元数据的采集、主数据的整合以及数据质量的日常核查,无不需要常态化、流程化的持续投入。
因此,数据资产管理工作最终是要坚持以业务价值为导向,无论是购买工具还是自研工具,都是为了持续推动业务部门和IT部门有效的对数据资产进行管理,确保其准确可信、及时可获得,为业务运行和经营决策提供数据化的实施依据。
由于数据资产管理涉及的领域众多,目前主要有两种形式的数据资产管理工具产品:
一是基于传统数据管理方法,在某个业务领域精耕细作形成的完善产品,比如独立的主数据管理工具、元数据管理工具、数据建模工具、数据质量管理工具等。
二是将几个相关数据管理工具功能整合到一起,打通数据连接,形成互相之间有接口的工具平台,比如由元数据、数据标准、数据质量集成起来形成的数据资产管理平台。
一般来讲,数据资产管理工具包括以下功能:
(1)数据标准管理
数据标准化,指研究、制定和推广应用统一的数据分类分级、记录格式及转换、编码等技术标准的过程。
从以上定义可以看出,数据标准指的就是针对数据所定义的各种规则或约束,如数据的类别、数据的口径、数据的安全级别、数据的格式、数据取值范围,数据的类型等。
数据标准可以认为也是一种特定类型的元数据,对数据标准的管理,就是指管理所有数据相关的标准和规范,除提供一般的查询展示、修改发布管理功能外,还要能建立数据标准与数据间的关系。同时,数据标准就是数据的业务或技术规则,数据标准管理工具应能够支持数据标准到数据质量规则的自动同步,通过数据质量核查工具能够核对数据是符合数据标准的定义。(了解更多数据标准管理相关内容,详见如何建立数据标准实现数据资产管理?)
(2)数据质量核查
数据资产管理战略的一个重要目标是保证数据准确性、一致性和完整性。数据质量核查工具的目的就在于通过制定的数据质量规则,实现软件工具支撑下的数据合法性校验、数据质量问题监控、数据质量分析报告等功能,以实现企业数据质量改进提升。
数据质量核查工具的核心是能够快速高效校验数据问题,数据问题一旦出现就及时通知管理人员给予重视和治理。(了解更多数据质量相关内容,详见如何提高企业数据质量?)
(3)数据模型设计与管理
针对企业在不同业务发展阶段建设的一个个竖井式系统,最大的挑战莫过于系统集成过程中数据模型的不一致,解决这个问题的唯一方法就是从全局入手,设计标准化数据模型,构建统一的数据模型管控体系,这个过程中针对数据模型的管理、比对、分析、展示都离不开工具的支撑,对企业数据模型的管理,直接影响着企业数据资产一致性程度。
其中数据模型设计工具不仅应能支持对于新建系统的正向建模能力,还应支持对原有系统的逆向工程能力,通过对数据模型进行标准化设计,能够将数据模型与整个企业架构保持一致,从源头上提高企业数据的一致性。(了解更多数据模型相关内容,详见什么是数据建模?)
(4)元数据管理
元数据管理的作用是统一管理企业所有元数据,包括业务元数据、技术元数据、流程元数据和数据管理制度元数据,另外还应包括非结构化数据的元数据。
元数据的数据地图可以图形化展示各信息系统间数据流转情况,利用血缘分析和影响分析帮助企业快速定位问题数据源头及系统改造影响范围。(了解更多元数据管理相关内容,详见快手元数据平台建设过程及应用场景(PPT))
(5)主数据管理
可通过数据整合工具(如ETL)、数据清洗工具、作为主数据总线的操作型数据存储(ODS),或专门的主数据管理工具来实施主数据管理,目标是通过跨数据源的整合,提供企业“黄金数据” – 主数据的最佳版本,并保证这些主数据在各个信息系统间的准确性、一致性、完整性。(了解更多主数据管理相关内容,详见如何从0到1搭建企业级主数据管理平台?)
(6)数据资产分析
数据资产分析可以帮助数据管理人员快速、可视化发现数据问题,同时增强了企业数据资产的易用性和对外服务能力,一般需要集成开源或商业的数据统计分析工具和分析评估模型。(了解更多数据资产相关内容,详见普华永道:企业如何构建数据资产价值管理体系?(附下载))
(7)非结构化数据管理
越来越多的企业开始重视非结构化数据(文档、图像、音频、视频等)的管理,需要结合企业自身发展长远考虑,选取对自身发展最有利的支撑手段加以使用。
此外,根据企业不同的需求,数据资产管理过程中还会用到一系列的其它有用工具,如数据安全管理工具、数据操作管理工具、文档和内容管理工具等,随着企业对数据交易和数据开放的平台管理需求日趋增多,未来数据资产管理工具也将更加多样化。
以上这些软件功能,都属于整个数据资产管理工具链的重要组成部分。但是,万万不要误以为有了这些工具我们就能够成功管理企业内的所有数据资产了,工具发挥效力的前提是,必须要有企业内数据管理咨询团队制定的具有良好定义的数据标准规范和流程,并由职责分工明确的数据资产管理团队,来使用这些工具帮助企业应用数据资产管理最佳实践方法,这样数据资产管理工具才能发挥全部作用。
前文说到,数据资产管理工作必须是要坚持以业务价值为导向,对于数据资产管理工具的选择,也不应仅仅取决于功能和特性,关键在于将如何用这些工具来增加业务价值。
无论一款工具多么有卖点,如果不能有效展现其业务价值,只会成为IT人员自娱自乐的东西,那么数据资产管理活动要想持续获得企业资金和管理层的支持就会比较困难。
以业务价值为导向的企业数据资产管理工作如何开展,在这里总结了数据资产管理落地实施的“三步法”:
(1)第一步:全面梳理企业核心数据资产,建立数据标准规范,构建企业的数据资产库。
这一阶段主要是对企业范围内数据资产的梳理,从而全面掌握企业数据资产的分布情况,包括以下四个方面:
梳理企业信息系统数据架构,构建全局数据视图,对企业的数据模型、数据实体属性关系、数据加工流程、数据职责关系有清晰化的认识。
制定数据资产管理制度规范、明确企业内不同数据管理角色的职责。
制定数据资产相关的标准规范,包括数据标准、数据模型、元数据、参考数据、业务规则等,使得数据管理人员在工作中有明确的规范可依。
对企业数据资产设计信息化管理方式,构建企业的数据仓库、元数据库、主数据库等。
总而言之,第一阶段的工作目标是,做到企业数据资产可定义,可获取。
(2)第二步:建立数据资产管理流程,借助管理工具,实现数据标准规范真正落地。
如果说第一阶段重点还在于对数据资产的定义、规划、梳理,第二阶段就是对第一阶段成果的落地实施。
在第二阶段里,需要从数据资产管理的相关业务、技术部门日常工作流程入手,切实建立起企业数据资产管控能力,包括从业务角度梳理企业数据质量规则,核查数据标准实施情况,保证数据标准规范在企业信息系统生产环境中真正得到执行。
针对关键性数据管理工作,要建立数据的管理流程,保证相关事情都有专人负责。在这个阶段里,作为管理工作支撑手段,建设或采购必要的数据管理工具是必不可少的。
第二阶段的工作目标主要是为企业打造核心的管理数据资产的能力,同时为企业内数据管理部门形成数据管理的工作环境,概括起来,就是企业数据资产可管理、可落地。
(3)第三步:管理数据资产,以业务价值为导向,向企业内外部不同层面用户提供数据服务。
通过前两个阶段,企业已经能够建立基本的数据资产管理能力,在此基础上,还需要具备以实现业务价值为导向,以用户为中心,为企业内外部不同层面用户提供数据服务的能力。
这个阶段的工作主要是向用户提供多样化、易获得的数据服务,使用户能够方便地获取和使用数据,提升业务创新能力,并且在用户的数据使用过程中再反过来进一步完善数据标准、提升数据质量,真正挖掘出潜藏在数据资产中的深层价值。
这个阶段的工作目标概括而言,就是企业数据资产可应用,可服务。
通过上述的能力建设,企业可以使数据资产管理能力从理论走向实践应用。随着时间的推移,能力将逐渐内化为企业内部管理的一部分,高质量的数据给企业带来的回报是巨大的,企业只有建立了有效的数据资产管理能力,保证了数据的质量,才能够真正有效地挖掘企业内部的数据价值,对外提高竞争力。
(本文来源《中国电信业》,作者刘童桐)