大数据之路—— 数据整合和管理体系

九、数据模型篇—— 数据整合和管理体系

    • 9.1 体系架构图
    • 9.2 名词术语
    • 9.3 指标体系
    • 9.4 模型设计
      • 9.4.1 基本原则
    • 9.5 模型实施

大数据建设方法论的核心:从业务架构设计到模型设计,从数据研发到数据服务,做到数据可管理性、可追溯、可规避重复建设。
<>
建设统一的、规范的数据接入层和中间层,完成数据公共层建设,提供标准化的、共享的、数据服务能力,降低成本等。

9.1 体系架构图

大数据之路—— 数据整合和管理体系_第1张图片

9.2 名词术语

  • 数据域:指面向业务分析,将业务过程或者维度进行抽象的集合。是要抽象提炼,并且长期维护和更新的,不轻易变动。如交易域、商品域、会员域
  • 业务过程:一个个不可拆分的行为事件(企业活动中的事件)。如下单、支付、退款(交易域),发布、上架(商品域),发帖(互动域)
  • 时间周期:明确数据统计的事件范围或时间点。如最近30天、截止当日
  • 修饰类型:对修饰词的抽象划分。从属于某个业务域。如访问终端类型
  • 修饰词:除了统计维度以外指标的业务场景限定抽象。如:PC端、无线端
  • 度量/原子指标:基于某一业务事件行为下的度量,不可拆分的指标,有明确业务含义的名词。如支付金额
  • 维度:指度量的环境,**用来反映业务的一类属性,**这类属性的集合构成一个维度。如地理维度、事件维度、买家下单事件中的买家
  • 维度属性隶属于一个维度,如国家、地区、省市
  • 派生指标一个原子指标+多个修饰词(可选)+ 时间周期构成。对原子指标业务范围统计的圈定。如:原子指标为支付金额,那么派生指标可以是最近一天海外买家支付金额

9.3 指标体系

  • 派生指标一个原子指标+多个修饰词(可选)+ 时间周期构成。且可选择多个修饰词,修饰词之间的关系为或者,派生指标唯一归属于一个原子指标。
  • 原子指标:要有确定的英文字段名(动作+度量)、数据类型和算法说明。
  • 修饰词:只有时间周期才会有英文名。如最近一天1d,截止当日td,最近7天1w
  • 一般来说有三种指标:
    • 事务型指标: 对业务活动进行衡量的指标。如新发商品数、新增注册会员数
    • 存量型指标:实体对象英文名 + stock。如在线会员数、注册会员总数等
    • 复合型指标:在上面两个指标的基础上复合而成。如浏览UV下单买家数转换率。(比率型、比例型、变化量型、变化率型、统计型、排名型、对象集合型)
    • 事务和存量指标,他们只会唯一定位到一个业务过程,两个行为同时发生、需要多个修饰词、生成一个派生指标的情况,会选择时间靠后的行为创建原子指标,前面的行为为修饰词

9.4 模型设计

维度建模理论为基础,基于维度数据模型总线架构,构建一致性的维度和事实

大数据之路—— 数据整合和管理体系_第2张图片

  • 操作数据层(ODS):操作系统数据几乎无处理地存放在数据仓库中。主要做的操作:同步、结构化、累计历史、清洗。

  • 公共维度模型层(CDM):存放明细事实数据、维表数据以及公共指标汇总数据。采用维度退化的手段,把维度退化到事实表中,减少事实表和维表的管理,提高易用性和复用性。主要操作:组合相关和相似数据、公共指标统一加工、建立一致性维度

  • 应用数据层(ADS):存放数据产品个性化的统计指标数据。主要操作:个性化指标加工、应用的数据组装

9.4.1 基本原则

  1. 高聚合低耦合,业务相近或相关的设计为一个物理模型,高概率同时访问的放一起。
  2. 核心模型和扩展模型分离
  3. 公共处理逻辑下沉及单一,底层进行封装和实现
  4. 成本与性能平衡
  5. 数据可回滚
  6. 一致性
  7. 命名清晰、可理解

9.5 模型实施

需要充分的业务调研和需求分析,这个是基石;

进行数据总体架构设计,主要是根据数据域对数据划分;

按照维度建模理论,构建总线矩阵、抽象出业务过程和维度;

对报表需求整理出指标体系。

大数据之路—— 数据整合和管理体系_第3张图片

你可能感兴趣的:(大数据,大数据之路总结,big,data,大数据,数据分析)