《中台战略》- Chapter 5 - 5.4 数据中台设计方法论

推荐购买《中台战略-中台建设与数字商业》正版纸质书籍阅读

  “横向规划，纵向切入”八字方针是建设数据中台的标准模式：所谓“横向规划”即在进行企业数据中台规划时，需要打通企业的所有业务板块。那么为什么要纵向切入呢？“罗马城不是一天建成的”，数据中台建设涉及数据平台建设、数据模型建设、数据治理、数据业务服务等方方面面的体系化工程，不可能一蹴而就。
数据中台建设总结为“规划、集成、建模、研发、管理、服务”6步法。

数据中台建设6步法

5.4.1 总体规划

  建设数据中台是一个系统化工程，在建设之前要做好以下几项规划：

• 哪些数据域需要纳入到数据中台规划中，建设的先后顺序（判断的标准是这些域的业务形态是否已经稳定），有哪些潜在的数据应用需求。
• 数据中台的物理形态是什么，需要从建设成本、企业IT资源状况等多角度评估是采取公有云还是私有云部署。
• 根据接入的数据域情况规划集群配置，规划满足未来3年数据中台的容量，以及根据大约的作业数量推导出集群的配置情况，需要多少个核心的CPU、多大的内存参与计算。
• 进行技术选型规划，根据企业实际情况确定以开源+自研为主还是采购成熟产品。

5.4.2 数据集成

  在做好数据中台的总体规划之后，接下来需要动工建设。建设的第一步自然是按照规划中的数据源进行接入集成。需要根据数据应用的场景，反向推导、确定数据集成的方式，比如哪些数据源需要进行实时采集，哪些数据需要离线采集；离线采集的频率是多少，是按天采集还是按小时采集。

5.4.3 模型建设

  模型建设是数据中台的重要工作，数据中台建设的成败关键在于数据模型设计规划得是否合理。数据模型分为分析模型和算法模型，分析模型是所有模型建设的基石。

数据建模5步骤

  数据建模分为5个步骤：选择业务过程、声明聚合粒度、确定模型的维度信息、确定事实以及冗余维度。
  1）选择业务过程：数据模型必定来自于某一个业务流程，举例来说，交易分析模型一定来自于交易订单流程，在设计模型之时需要梳理出所有的订单流程（线上、线下）。
  2）声明粒度：统计粒度的确定是模型设计的关键环节，粒度定义得太细，不利于支撑上层数据分析汇总；粒度定义得太粗，又不能满足前端多变的个性化数据分析需求。基于此，在设计模型的时候需要进行分层建设，随着层级的越高，统计粒度会越粗。
  3）确定维度：维度即在业务过程中的主题，比如用户维度、商品维度、店铺维度。在建设模型的时候就需要从业务过程出发，提前预设可能会分析的维度，统一纳入到数据模型中。
  4）确定事实：事实即模型中的指标，是模型中的核心，在进行指标定义的时候需要重点关注是否全面覆盖了本主题域中的指标，并且需要判定哪些指标可以相加，哪些指标不能相加。比如“销售量”可以在任何维度上进行相加，而“客户数”“库存量”这种指标则不能在某些维度上进行累加。
  5）冗余维度：冗余维度的目的是让数据模型更加丰满，避免在计算统计中关联太多维度而产生复杂的计算逻辑，影响性能。因此，在模型设计的最后一步应尽量带上确定好的维度字段的属性，比如，客户维度需要带上客户的性别、年龄段、居住地、等级等各种维度。

模型设计文档示例

5.4.4 通用研发

  模型设计完成后，开发人员就按照模型设计文档，在模型设计师的指导下进行数据研发。研发包含数据萃取、数据聚合分析、算法实现以及作业调度等功能的开发。
  可以将数据中台的数据研发过程比喻成数据加工流水线，模型中的代码研发只是流水线中的一个部件，在每个模型部件研发完成后，还需要通过调度程序将这些作业有序地串联起来，并且组织好这些作业的依赖和触发关系。

5.4.5 资产管理

  资产管理最基础的工作是做好元数据管理。元数据涵盖了采集的数据接口、创建的数据模型、数据模型中的指标以及作业与作业之间的依赖关系。将这些元数据有序地展示出来，就形成了企业的数据资产。

5.4.6 数据服务

  “茶壶里有了饺子倒不出，等于没有饺子。”数据资产要能支撑上层的应用才能体现出数据资产的价值，否则那只能叫数据。因此提供一种数据服务能力统一对外服务，这是非常关键的事情。通过建设数据服务达到以下几个能力：

• 数据接口标准化：针对数据交互接口提供统一的数据在线服务视图，可进行数据查询、上报、通知；针对批量数据提取，提供标准化的数据对外输出能力，支撑文本、数据库等在线服务。
• 在线交互实时化：针对业务系统数据交互，提供各业务系统数据对接的统一服务平台；针对实时数据分析汇总服务，提供指标级数据统一口径，在线实时数据服务调用。
• 数据开发可视化：提供服务接口的可视化配置能力，降低接口开发技术要求，易于掌握和维护；提供数据服务可视化管理界面，统一维护、统一管理。