大数据时代,企业正依赖于数据资产做出更明智和有效的决策。利用数据资产,通过丰富的客户资料、信息创新使用和高效运营,企业能够在竞争中取得明显的优势。
数据资产管理(Data asset management简称DAM)是规划、控制和提供数据及信息资产的一组业务职能,包括开发、执行和监督有关数据的计划、政策、方案、项目、流程、方法和程序,从而控制、保护、交付和提高数据资产的价值。
了解并掌握数据资产管理的理念和方法,对于企业管理者,特别是CTO、CIO等企业技术类管理者已成为必备技能。在9月4日“CXO训练营”在线直播中,中软国际集团的数据管理专家刘中蔚为大家分享了《数据资产管理的概念与方法》。
讲师介绍
刘中蔚,中软国际集团大数据专家,BI规划专家,中国人民大学计算机硕士,获得Teradata Certified Master V2R5全球认证。
在商业智能领域有丰富的咨询和实施经验,先后主导和参与了中国工商银行、中国农业银行、国家开发银行、中国邮储银行、中信银行、光大银行、中国银行信用卡中心、西部机场集团、首都新机场等多家机构的数据治理、基础数据平台等相关领域的项目咨询和实施工作。
以下我们总结了《数据资产管理的概念与方法》课程的精华内容:
数据资产管理的概念
1.什么是数据资产管理
现在,大家都知道数据对于企业来说是一种很宝贵的资源。那么什么是数据资产及数据资产管理呢?
数据资产:“由企业拥有或者控制的,能够为企业带来未来经济利益的,以物理或电子的方式记录的数据资源,如文件资料、电子数据等。”
数据资产管理:以资产管理的方法结合数据的特有特征管理好数据从产生与流转,存储与整合,分析与价值发现,直至归档与消亡的全生命周期的每个环节。
2.企业数据资产的特点
数据资产的特点是:一是数据,二是能给企业带来利益。数据资产的发展包含三个阶段:产生阶段、加工整合阶段、使用阶段。每个阶段都要它的业务特性和形态特性。
产生阶段:以一手数据为主,一般产生于企业的业务系统,如ERP,CMS,营销系统等。是在运营过程中产生并由业务系统记录的数据,属于基础数据、原生数据、明细数据。
加工整合阶段:包括为支撑后续业务分析应用而开展的数据整合和标准化后的基础及衍生数据;转换加工后的基础数据以及加工后的衍生数据,出于分析使用目的加工的信息项。这部分数据会保留历史明细信息,随时变化,无限扩展。
使用阶段:这个阶段的数据已经能够有效反映业务运营情况和变化趋势等,支撑企业运营决策;包括统计指标数据,出于经营分析和决策目的,从不同口径加工的统计值;数据会保留一定时间段范围以内的汇总和明细数据,显示年度变化。
3.数据资产管理的复杂性
由于企业信息系统建设的时间有早有晚,有的是承包商开发的,也有企业自己的IT团队开发的,从一致性来说是非常不好的。技术实现方案不太一样,系统内部数据没有参考统一的规范,集成难度高。
此外,数据形态复杂,结构不一,体量庞大,散落在企业信息系统的各处。很多企业连最基础的数据字典都没有。有些企业业务系统后台的表结构由于长时间的维护不规范,导致大量的垃圾数据存在。
这些都是数据资产管理工作所面临的困难。
4.DAMA管控体系
DAMA数据管理体系是数据管理业界最佳实践的结晶,已成为从事数据管理工作的经典参考和指南。该体系的核心领域有以下八项:
(1)数据架构管理——规划并管理数据从产生端到使用端的分布、传输与存储的逻辑框架;
(2)数据模型管理——企业的信息模型是企业数据标准的图形化展现;
(3)数据标准管理
——规范化企业重要活动及对象的数据记录格式;
(4)数据质量管理
——对数据的规范性、准确性、一致性、完整性、时效性进行持续监控和评估;
(5)元数据管理——对企业数据资产的登记造册,并记录其相关性
(6)数据安全管理——对数据设定安全等级,保证其被适当地使用;
(7)主数据管理——对企业关键的,跨系统共享的业务数据进行统一定义、集中保存、发布、更新及删除的过程;
(8)生命周期管理——是对数据产生、存储、传输、使用和销毁全过程进行管理。
DAMA数据管控的保障机制从四个方面着手:管理的政策、组织人员、流程规范、技术支撑。
总结
数据资产管理解决的是数据”有没有用”的问题,而:
元数据管理解决的是数据“如何用”的问题;
数据质量管理解决的是数据”能不能用”的问题;
数据标准管理解决的是数据“一致规范准确”的问题;
数据安全管理解决的是数据“安全受控”的问题;
数据生命周期管理解决的是数据“合理存储”的问题;
主数据管理解决的是“黄金记录数据”的问题;
数据架构管理解决的是数据“合理分布、处理”的问题;
数据模型管理解决的是数据“存储结构”的问题。
数据资产管理的实施方法
数据资产管理的项目,我们一般会分成四个阶段去做。
第一阶段是现状调研,一般分为四类活动:IT调研、客户组织架构调研、业务分析调研、数据资产的盘点。从四个方面了解企业的数据管理现状。
第二阶段是规划设计,包括组织架构、规章制度办法、管理流程、对数据管理平台功能需求几个方面。
第三阶段是相应的数据资产管理系统的开发。包括需求梳理、系统设计、开发/测试、调试部署、系统运行等。当然,如果买的现成的数据管理系统就不用开发。
第四阶段是专项治理:由某一个领域的数据治理活动开展入手,针对这个领域的问题提出解决方法。包括元数据、数据质量、数据标准、数据安全、数据生命周期等。
需要说明的是,数据资产管理这项工作并不会伴随着数据资产管理项目的结束而结束。
1.数据标准的定义
数据标准是为了满足企业自身业务发展和分析决策需求而制定的规范性文件,制定数据标准也是为了保证数据资产在交换和使用过程中具有高度的一致性和准确性。
数据标准主要关注两个方面:基础数据标准和指标数据标准。
基础数据标准:主要是用来约束和规范前台的业务系统的,包括原生数据、运营过程中产生并由业务系统记录、依据业务制度和业务规范记录的基本业务要素信息等,数量有限但较稳定。
指标数据标准:是出于经营分析和决策的目的而设置的数据标准。包括出于经营分析和决策目的,从不同口径加工的统计值。通常在报表,管理驾驶舱等分析应用中实现。这部分必须由业务使用部门主导建设,并负责更新维护。
2.数据标准要解决的问题
(1)同名不同义的处理:重点在于明确数据项之间的业务定义的差异,对于业务含义有实质性差异的数据项应分拆为名称不相同的若干数据项。
(2)同义不同名的处理:是由于各业务部门或系统的称呼、使用习惯不同而产生的。针对该问题的标准化需要着重解决两个问题:一是名称统一的问题,二是数据定义部门统一的问题。
(3)代码分类不统一的处理:
定义层面具有相同含义的数据项,但在不同的业务部门或系统中的值域或代码分类不一致的情况。是数据标准化工作的重点和难点,应逐项分析拟定解决方案,并与各部门进行充分协商以达成一致。
3.BOR方法论
BOR是确定数据标准范围与内容的通用方法。BOR方法论认为,现实世界可由活动(Behavior)+对象(Object)+关系(Relationship)来描述。BOR方法就是指在特定的商业领域,梳理重点业务活动(B),提炼业务对象(O)及其属性,并总结业务对象的相互关系(R),从而确定数据标准的范围和内容。
4.数据标准制定的依据
数据标准的制定可以参考四类依据。一是外部标准:比如国家标准、行业标准、部委标准、相关法律法规等。二是监管需求:比如有些行业监管部门有明确的要求,对企业的经营活动的监督管理会落实到企业数据载体上。三是行业的现状和管理规范。四是同业实践:比如同业里的先进企业的一些数据规范,值得企业借鉴。
总之来说,数据标准建设过程中需要参考大量业务资料。
数据质量问题
数据质量是指数据满足明确或隐含需求程度的指标。数据质量管理是通过业务管控及技术检查手段,控制并保证数据信息的准确性、完整性、一致性等关键因素,使得能够准确反映企业的经营状况,为企业的管理决策提供正确的信息。
在数据产生、流转、整合、应用等重要环节中,由于业务信息录入、交换及传输、整合、技术及平台转换、加工和存储过程中所产生的完整性、准确性、一致性、时效性、规范性等(非系统基础环境及性能)问题,导致不能满足现行业务数据应用要求的情况被视为数据质量问题。
1.数据质量产生问题的原因
数据不是天生就是健康可用的,影响数据质量的因素主要有四个方面:信息、流程、技术和管理,应通过治理工作逐步提升质量以满足各类运营分析使用要求。
2.数据质量产生的环节分析
数据的流转过程包括生产环节、集成环节和使用环节。一般来说,数据质量问题的产生主要在于生产环节,而数据质量问题的发现往往来自于使用环节。
这也是我们数据质量问题的隐蔽性以及存在治理难度原因。因此,我们需要在生产环节就密切关注数据质量。关注的手段是要部署相关的数据质量检查规则。如果由于安全或其他问题无法在生产环节部署检查规则,也要在集成环节的入口对原始数据进行检查。
检查之后,后续的持续的问题的改造,才是整个环节的重点。
3.数据质量体系建设
你需要把所有针对数据质量问题检查的逻辑固化下来,这也是企业宝贵的数据资产。
数据质量体系的建设包括四个环节:收集质量问题、设计质量规则、执行检核计划、整改质量问题。其中,执行检核计划和整改质量问题两个环节是循环往复的过程,是常规性的工作,要有固定的部门或固定的岗位推动相关的检测改动情况,对改动结果做评估。
元数据管理
元数据,类似于图书馆目录卡片,是对数据结构(数据属性)的描述,是数据的电子目录,其并不存储数据内容。
比如,业务元数据,包括业务术语、指标、统计口径等;技术元数据:包括数据平台内对象和数据结构的定义、源数据到目的数据的映射、数据转换的描述等。
1.端到端的元数据管理
包括源系统数据字典定义、各层之间数据映射信息、以及分析型应用系统的指标计算规则、报表的统计口径等,这些都属于元数据的范畴,而元数据管理平台是对全行元数据进行统一管理的企业级应用平台。
2.元数据管理=数据资产目录
元数据管理实际上就形成了整个数据资产目录。不涉及到数据内容。一般对数据资产的查看手段有六看:看历史(过去长什么样子)、看本体(是什么、定义和格式)、向前看(数据来源是哪)、向后看(创造了谁)、向上看(上级节点是谁)、向下看(下级节点是谁)。
3.元数据管理应用
元数据管理应用包括六个维度:数据地图(可放大到系统级,缩小到字段级)、影响分析(有哪些项会用到这些数据)、血缘分析(数据是从哪些字段哪些数据加工来的)、一致性分析、元数据变更分析、元数据版本比对。
4.数据资产开发利用
数据经过治理后已经高度标准化,标准化的数据一个显著的特点就是具备高度的可流通性。企业数据可以经过服务封装,通过应用、服务、数据包等形式对内对外提供有偿数据服务,实现数据价值的深挖变现。
以上,就是本次数据管理课程的全部内容。在本课中,我们了解了企业数据资产的概念、数据资产管理的方法、数据标准、数据质量、元数据等概念和应用。相信学完本课,您对如何管理和优化企业数据资产,如何开发利用数据资产已经有了一个基本的了解。
下期预告
墙裂推荐【CXO进化营】中国软件10强企业专家在线分享的《从技术到管理,如何打造IT服务企业核心竞争力?》,5位知名专家,7节能力提升课,限时免费,精彩不容错过。
下期课程预告:9月6日20:00~21:00 《项目管理之风险管理》 主讲:中软国际培训学院高级讲师马爽
报名方式:
1. 进入直播页面,点击【参与报名】即可预约课程;
2. 扫描如下二维码添加小媛微信(JFHC-1),备注CXO进化营,进入学习群。