数据中台 第3章：数据中台建设与架构

1 持续让数据用起来的价值框架

数据中台作为整个企业各个业务所需数据服务的提供商，通过自身的平台能力和业务对数据的不断滋养（业务数据化），会形成一套高效可靠的数据资产体系和数据服务能力（数据资产化和资产服务化）。这样一来，当出现新的市场变化，需要构建新的前台应用时，数据中台可以迅速提供数据服务（服务业务化），从而敏捷地响应企业的创新。
业务产生数据，数据服务业务，业务在阳，数据在阴，阴阳互补，形成闭环。

2 数据中台建设方法论

数据中台建设方法论体系，需要从组织、保障、准则、内容、步骤5个层面全面考虑，以确保数据中台建设和实施如期实现。

2.1 1种战略行动

把用数据中台驱动业务发展定位为企业级战略，全局谋划。
数据中台一定要有战略规划，是”一把手工程“，只有企业的一把手才有这种推力来推动数据中台的建设。
数据中台的目标是实现企业经营的数据化、精细化、智能化，本质是建设一套可持续让企业数据用起来的机制。需要相应的组织、制度、流程、资源的保障。

2.2 2种保障条件

• 中台战略的实施需要有组织保障
  企业实施数据中台战略，必须首先建立起数据中台团队，负责中台的建设、维护、运营以及业务的承接和中台服务的推广等。另外，有了数据中台，企业的运转模式发生了变化，业务、后台、管理等团队也需要有对应的组织人员与中台团队对接。
• 中台战略的实施需要提升全企业的数据意识
  • 数据采集意识
  • 数据标准化意识
  • 数据使用意识
  • 数据安全意识

2.3 3项目标准则

数据中台的3项目标准则：可见、可用、可运营，不仅作为企业在数据中台建设中的具体建设指引，也可以用来客观评估目标建设内容的完整性。

• 数据可见
  • 指标管理的可视化
  • 元数据管理的可视化
  • 数据资产类目的可视化
  • 数据源的可视化
  • 数据集成的可视化
  • 数据ETL的可视化
  • 数据建模的可视化
  • 数据消费者的可视化
  • 算法建模的可视化
• 数据可用
  • 数据内容的可用性
  • 数据服务的可用性
  • 数据任务的可用性
  • 数据的指标化
  • 数据的标签化
  • 资产（指标或标签）的易阅读性
• 数据可运营
  • 质量量化管理
  • 价值量化管理
  • 数据运营角色

2.4 4套建设内容

建设内容是数据中台建设的核心，数据中台建设内容包含技术体系、数据体系、服务体系、运营体系，通过4套体系的建设实现数据中台让数据持续用起来的目标。
技术体系是基础支撑，就像骨架一样撑起挣个数据和中台；数据体系就像数据中台的血肉，数据中台对外呈现的主要内容是数据体系；服务体系是数据中台价值所在，就像数据中台的灵魂一样，激活静止的骨架、血肉，让中台动起来，发挥价值；运营体系是数据中台的守护者，通过运营体系保证中台的健康、持续运转。
技术体系 --> 数据体系 --> 服务体系 --> 运营体系
骨架（支撑） --> 血肉（呈现） --> 灵魂（激活） --> 守护者（保证）

• 技术体系
  技术体系分两个层面：大数据存储计算技术和数据中台工具技术组件，技术体系主要关注点是工具技术组件。
• 数据体系
  数据体系是数据中台建设、管理、使用的核心要素，全企业的数据通过各种方式汇聚到数据中台，在数据中台按照一定的建模方式进行加工，形成企业的数据资产体系。
• 服务体系
  服务体系是通过数据中台的服务组件能力，把数据变成一种服务能力，比如客户微观画像服务、信用评估服务、风险预警服务等，让数据能够方便地参与到业务中并为业务带去价值。
  数据中台和大数据平台最主要区别是数据能更方便地以服务化的方式支撑业务。
• 运营体系
  运营体系是数据中台得以健康、持续运转的基础。运营体系包括平台流程规范执行监督、平台资源占用的监管以及优化推动、数据质量的监督及改进推动、数据价值的评估、数据服务的推广、稽查排名等。
  运营体系的目标是让平台可以持续健康运转，产生持续价值。

2.5 5个关键步骤

• 理现状
  • 组织现状
  • 业务现状
  • 数据现状
  • 技术现状
• 立架构
  • 组织架构
  • 业务架构
  • 技术架构
  • 应用架构
  • 数据架构
• 建资产
  • 数据集成
  • 资产萃取
  • 数据标准
  • 数据质量
• 用数据
  • 数据安全
  • 场景服务
• 做运营
  • 监控审计
  • 价值评估
  • 质量评估
  • 资产排名

3 数据中台架构

数据中台是位于底层存储计算平台和上层数据应用之间的一整套体系。通过数据中台的数据汇聚、数据开发模块建立企业数据数据资产；通过资产管理与治理、数据服务把数据资产变为数据服务能力，服务于企业业务；数据安全管理、数据运营体系保障数据中台长期健康、持续运转。

• 数据汇聚
  数据汇聚是数据中台数据接入的入口，把各种异构网络、异构数据源的数据方便地采集到数据中台集中存储。
  汇聚方式：数据库同步、埋点、网络爬虫、消息队列等；
  汇聚时效：离线批量汇聚、实时采集
• 数据开发
  数据开发是一整套数据加工以及加工过程监管的工具，快速把数据加工成对业务有价值的形式，提供给业务使用。
• 数据体系
  建议数据按照贴源数据、统一数仓、标签数据、应用数据的标准统一建设。
• 数据资产管理
  数据资产管理以企业全员更好理解的方式，把企业数据资产展现给企业全员，数据资产管理包括对数据资产目录、元数据、数据质量、数据血缘、数据生命周期等进行管理和展示，以一种更直观的方式展现企业数据资产，提升企业数据意识。
• 数据服务体系
  数据服务体系把数据变成一种服务能力，通过数据服务让数据参与到业务，激活挣个数据中台，数据服务体系是数据中台存在的价值所在。数据中台服务模块没有自带很多服务，而是提供快速的服务生成能力以及服务的管控、鉴权、计量等功能。
• 运营体系和安全管理
  运营体系和安全管理是数据中台得以健康、持续运转的基础