数据开发与数据治理的关系

前文:

          说起数据治理,可以滔滔不绝,但万变不离其宗,主要还是要对应着开发流程去理解才能模块化。当然每个点展开都是一个很宏大的议题,本文只是将开发与治理的对应关系结合起来。

一、关系图

数据开发与数据治理的关系_第1张图片

1.数据开发系统作为数据决策体系,其核心便在于指标体系的建设及其覆盖面。

2.指标体系建设可分为三种建设方法,分别为科学方法选指标如OSM、分析模型如AARRR、场景化的人货物。

3.一个数据开发的规范流程为:

  • 数据探查,查看现有资产是否满足需求,数据量及数据质量如何
  • 指标管理,梳理定义并拆分技术指标
  • 模型设计,输出drow.io架构图及excel字典,基于维度建模方法
  • 开发+验数报告+任务调度
  • 质量监控规则配置

4.数据治理是一个泛题,对应着实际的开发流程:

  • 定义数据标准(指标字典、业务规则、编码规范、组织架构等)
  • 主数据管理(定义核心业务实体及维度表:如用户实体、订单、商品、区域等)
  • 元数据管理(任何数据的定义、解决找指标定义|数据资产的问题)
  • 数据建模(流程规范和数据框架)
  • 在开发中的资源问题(生命周期存储计算)
  • 数据服务需要评估成本问题(存储计算资源)和安全问题(权限控制)
  • 采集/计算的数据质量的监控(及时性、准确性、完整性、一致性、唯一性)

  • 数据开发与数据治理的关系_第2张图片

    例图:DAMA示例

你可能感兴趣的:(数据仓库,大数据)