数据治理

数据治理的概念

数据治理:对企业数据资产管理行使去哪里和控制的活动集合

数据治理的模型和目标

基于既定的治理原则,清洗确定数据治理设计的范围,指定可量化,可执行的实施与评估方案
帮助企业或者组织实现其成本,收益,风险三者的最优化控制目标,并持续迭代完善优化
数据治理的管理和现状
业务系统之间缺少统一标准
数据多样化缺少数据标准,对字段的命名
数据质量差,错误发现不及时
影响分析困难
数据价值低
资产共享差
信息分散,无法集中管理和展现,共享性差
数据安全无保障
管理差,落实差
标准管理体系不完善,角色分工不明确
通过以上的问题,数据治理(价值)的优势又体现出来了如下:
数据治理相对于传统的优势
质量(专业事情专业做);效率(人员各司其职);可视化(全界面化操作)
数据治理的层次框架

睿智平台

全产品平台架构

睿智全产品架构图

数据治理平台主要模块

睿智--功能模块

数据治理--元数据

元数据: 元数据是数据治理的基础,是对数据的描述,可总览分析元数据之间的关系和相互之间的影响
数据治理--元数据实施步骤: 元数据采集-->元数据入库审核-->元数据信息补充-->发布(版本管理)-->分析

数据治理--数据标准

数据标准: 数据标准是对数据进行统一的、规范的定义,确保数据在复杂数据环境中保持一致性、规范性,提高数据管控效率,完善数据治理的体系.
数据治理--数据标准实施步骤: 理解数据(含义关系)-->定义数据标准(根据业务,国地标)-->建立映射-->洛地评估-->评估统计
在整个生命周期中对主数据的管理体系进行完善并作为标准

数据治理--数据质量

数据质量: 数据质量包括对数据质量的规则定义、数据质量检查方案的定义,支持定时检查,自动生成质检报告,检测并揭示质量问题,提空问题明细查询和建议.
数据治理--数据质量实施步骤: 计划(建立数据流程和规范)-->执行(建立规则,方案)-->检查(对比治理前后的效果)-->处理(将改进的措施落实部门,准备下一次循环)

数据治理--数据资产

数据资产: 数据资产是将数据作为资产,基于元数据进行不同角色视角的目录化管理,分析数据资产之间的关系,获取资产查看,下载,交换共享信息
总结:给不同的人看不同的数据,每一个关注的数据是不一样的.
数据治理--数据资产实施步骤: 梳理数据(给谁看)-->资产编目(分类,分组)-->资产发布(可以看到资产)-->资产管理(查看元数据,分析资产,下载...)-->申请交换(交互作用)

数据治理--数据生命周期

数据生命周期: 数据生命周期主要管理数据的生老病死,通过灵活设计数据归档,销毁策略保证系统数据存储效率
数据治理--数据生命周期实施步骤: 调研数据(了解数据)-->建立归档区(分类)-->归档策略定置-->归档任务-->数据销毁(需要二次确认,审批)

数据治理--数据安全

数据安全: 数据安全是在多个方位保障数据的安全性,提供丰富的数据安全保障措施,保障数据传输,存储,访问,展示等不同场景安全需要
数据治理--数据安全实施步骤: 敏感数据(敏感级别)-->数据库权限-->数据库资产安全-->数据安全规范
总结:数据安全并无严格的步骤循序,更多的是聚焦用户安全的安全领域

睿智平台除了以上和核心模块:数据源,用户权限,数据分析,门户管理,工作流,系统设置登记本功能

睿智角色流程图

做到每个角色都能获取想要的数据

睿智治理实施过程图

个人总结:睿智平台六大功能模块:元数据,数据标准,数据质量,数据资产,数据生命周期,数据安全

睿智六大核心模块一:元数据管理

元模型管理

内置原模型

内置原模型(常用,变化不大)包含:其他类型包;数据处理包;数据库包;数据应用包;文件系统包
其他类型包: 管理包;基础包;系统包
数据处理包: ODI;Solution
数据库包: 大数据包;关系型数据库包
数据库应用包: 包含I@Report包;亿信BI包
文件系统包

新建原模型

第一步:新建模型包

第二步:新建元模型

元模型维护

原模型发布

原模型的导入导出

原模型关系图

元数据采集

适配器管理

数据源管理

采集任务配置

元数据管理

编辑元数据

元数据变更管理

变更查询: 对于元数据的变更情况,系统提供变更查询,选择查询范围,元数据类型,更变日期后可查看元数据的更变情况,并将结果导出excel

元数据变更订阅

变更订阅: 将改变的元数据发送指定邮箱

元数据分析,检核

元数据分析

1. 影响分析: 可以迅速了解分析对象的下游数据信息,掌握元数据变更可能造成的影响
2. 血缘分析: 对指定元数据的起源以及推移位置的分析,反应数据来源与加工过程
3. 全链分析: 用来分析指定元数据前后与其有关系数据的来龙去脉,不仅反应了元数据的来源与处理过程,也反映了元数据的影响范围,从而整体上把控元数据来龙去脉
4. 关联度分析: 从关系数量的角度对指定元数据分析,来体现该元数据在系统中依赖的程度的高低在一定的角度可以反映出该元数据的重要程度
5. 属性值差异分析: 比较同类型元数据之间属性值的差异,识别相似元数据之间存在的微小差距,差异系统将自动标红

元数据检核

1. 一致性检核: 检查来源系统元数据以及罪行元数据之间信息是否一致

2. 组合关系缺失检核: 根据元数据模型中设置的组合和被组合关系查找出不符合模型定义的组合关系的元数据

3. 属性填充率检核: 检核最新元数据中选定范围内元数据的填充情况

4. 元数据标准覆盖率检核: 检查有哪些定版元数据已经完成数据标准映射,标准覆盖率是多少

5. 检核例外管理: 浏览所有的检核例外数据项,可点击删除例外项,删除的例外再次执行元数据时候,该数据会被检测出来

6. 检核任务: 执行完的检核任务点击查看详情,可通过服务接口获取检核结果