企业数字化转型以数据为中心,通过数据驱动业务发展、管理协同和运营。因此,数字化转型关键在于数据,数据治理则需先行。从而更好激发数据生产要素潜能,实现业务数据化、数据价值化,助力企业数字化转型。
国际数据管理协会(DAMA)在其《DAMA数据管理知识体系指南(第2版)》一书中将数据治理进行了定义,即数据治理是对数据资产管理行使权力、控制和共享决策(规划、监测和执行)的系列活动。此外,DAMA还将数据治理作为数据管理十大知识领域的中心,负责知识领域的平衡和一致性。
DAMA提到数据治理的目标有三点:提升企业数据资产管理能力;定义、批准、沟通和实施数据管理的原则、政策、程序、指标、工具和责任;监控和指导政策合规性、数据使用和管理活动。
可以看出,DAMA给出了比较全面的解释,但是距离企业可落地的数据治理还是距离较远,更像是纲领性的介绍,因此对于如何进行数据标准的制定以及如何进行数据资产的评估都缺少具体的描述。
2020年,信通院牵头制定数据治理服务商成熟度模型(DGS),这一评估模型填补了数据治理服务领域的空白。模型以数据治理服务项目实施运维的流程为主线,融合数据治理核心能力,包括6大能力域、21个能力项,其中6大能力域遵循一般性数据治理项目流程,具体如下:
1.需求管理能力域:提供方通过采集需求方的业务需求、数据需求、技术需求等,明确数据治理目标和范围,并评估实施数据治理可行性;
2.资源评估能力域:提供方通过对数据来源、数据规模、数据分类、数据关系、数据时效性、专业软件工具、存储计算环境以及硬件资源等主要影响因素进行分析,以提升数据治理项目任务分解的准确性,指导识别项目中的潜在风险;
3.实施保障能力域:提供方通过制定实施规划,建立组织保障,开展风险管理,确保数据治理项目的顺利实施,降低风险和成本;
4.方案设计能力域是数据治理项目的核心环节,提供方通过制定相关规范体系和设计文档,形成满足甲方需求的数据治理体系;
5.方案实施能力域提供方通过依托相关平台工具,实现方案的落地;
当前企业对于数据治理服务的关注点已逐渐从平台产品扩展至方案设计、实施交付、持续运营的全访问服务体系。专业的团队,是项目成功的关键,依托于专业的数据治理服务团队和知识沉淀,开展项目实施工作。
首先CIO或CDO是项目顺利进行的关键角色,可以更高效地推动实施团队与业务的融合。其次是项目的项目经理,负责项目的管理和资源调度,各阶段人员及工作安排,项目计划制定、进度控制、项目风险管理、项目质量把关等;技术负责人、系统架构师、项目管理专员是项目团队的智囊团和质量保障;根据项目需求,安排不同岗位职能人员开展实施及售后工作,包括但不限于业务架构师、业务分析师、数据架构师、数据开发工程师、测试工程师、技术支持、运维工程师、产品专家、产品经理、客户成功专员等。
项目交付主要分为4个步骤,以需求调研为切入点,以方案设计为规划核心,以开发实施为交付重点,以上线运维为服务保障,依次稳步开展保证项目的顺利实施。
第一步是需求调研:通过业务调研切入,以收集资料和访谈调研为抓手,了解业务流程和痛点,深挖根本原因。以数据调研作为后续方案设计的开端,结合业务调研的痛点与根本原因,了解数据系统的现状后,以数据角度切入整体解决方案。
第二步是方案设计:以数据标准方案为基石,以场景规划方案为需求原点,以数据架构方案为纲领,进行整个数据治理方案设计;以实际需求为主,形成规范的组织架构、管理制度,参考国标及行标,形成数据标准方案,为后续实施打下坚实基础;通过需求调研整理客户实施的场景范围,输出原型设计及指标清单,确认后输出场景规划文档,以此确定整体需求范围;根据整体需求范围和数据系统现状,搭建数据架构,划分业务域及数据域,规划后续开发实施的整体框架。
第三步是开发实施:确定整体方案后,进行产品部署、数据探查、数据同步工作,根据场景规划和架构设计方案,遵循数据标准方案,进行数据开发与数据治理。
第四步是上线运维:整体开发完成后进行试运行,同步开展产品测试工作,均通过后进行产品验收及正式上线,后续由运维部门进行巡检及售后工作。
DGS对数据治理的方方面面进行了解释,给出了模型规范和评估标准。对于企业来说,不管是想自己做数据治理,还是通过服务商来实现部分数据治理工作,DGS都提供了一套相对全面的参考指南。
目前,袋鼠云已通过DGS三级评估。整体来看,目前数据治理提供商的数据工程服务能力优势集中于数据资源评估、数据质量、数据标准等能力项。
《数栈产品白皮书》:https://www.dtstack.com/resources/1004?src=szsm
《数据治理行业实践白皮书》下载地址:https://www.dtstack.com/resources/1001?src=szsm
想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=szcsdn
同时,欢迎对大数据开源项目有兴趣的同学加入我们,一起交流最新开源技术信息,号码:30537511,项目地址:https://github.com/DTStack