数据中台如何搭建

• 4月29日，数据中台建设实战系列课程「数智加速度」第4课，奇点云数据模型架构专家天启带来分享《AI驱动的数据中台架构设计》，步步踏实落地，带大家从0开始建设数据中台。

  天启，奇点云数据模型架构专家、原海尔集团数据架构师、原阿里巴巴政务团队数据架构师，精通数据仓库建模理论及数据开发技术，具备零售、政务、医药、制造等多个领域数仓和数据中台建设经验，及PB级数据仓库与数据中台建设经验。

  在这一课里，你会听到：

  1. 数据中台的选型与构建˙

  2. 数据中台踩过的那些坑

  3. AI是如何驱动数据中台

  4. 数据中台新理解与畅想

  下文为分享节选：

  01 数据中台：正确的人+正确的工具+正确的事=降本增效

  数据中台对于许多传统企业而言，依旧是很陌生的概念。

  如何从零开始建设数据中台？

  我们把它简化为一个方程式，正确的人+正确的工具+正确的事，三者缺一不可。

  

  正确的人

  数据中台在国内有完整实践的企业不多，相关的人才也相对较少。企业在选择数据中台时，需要有方法论、实践经验去指导，以避免从零摸索带来大量人力物力的浪费。这也是企业在选择服务商时需要留意的。

  正确的工具

  在这里主要指的是狭义上的数据中台产品。市面上的产品五花八门，数据中台产品各型各样，如何选择非常关键。

  正确的事

  数据中台不是摆设，并不是说搭建一个产品意义的数据中台，企业就完成数字化转型了。数据中台最终还是要为业务服务。我们要用数据中台做什么，解决什么业务痛点，需要考虑清楚。

  这个方程式最终导向了我们建设数据中台的目的：为企业带来降本增效。「要么给老板省钱（降本），要么给老板挣钱（增效）。」

  02 数据中台的选型与构建

  首先需要强调的是，在这里我们分享的只是一般情况，不同企业、不同数据情况和不同需求，不可一概而论。不管黑猫白猫，能解决痛点的就是好猫。

  数据中台的底层是大数据架构，大数据架构如何去选型？

  

  在架构选型时，成本、场景支持是我们考虑最关键的2个要素。

  综合实施周期、实施成本、是否支持实时计算、数据冗余与数据一致性情况等因素，我们认为Lambda架构成本相对适中，又能满足实时计算和离线计算两个场景。

  当然，选择Lambda架构也会不可避免地面临数据冗余的问题，而目前大部分传统企业用到实时计算的场景偏少一些，相对来说产生的数据冗余也较少，可以通过数据治理等方式解决。

  底层之上是引擎，包括离线计算引擎和实时计算引擎，又应当如何去选型？

  离线计算：三种离线计算引擎各有特点，可以综合企业的数据情况和需求，选择合适的计算引擎。

  

  实时计算：在批处理+流处理上，Flink备受青睐，稳定性较好、吞吐量较大。一般来说推荐使用Flink。

  

  在架构上层，则涉及到了：数据模型应如何设计？

  数据模型是为业务服务的。具体来说，就是把业务抽象化，提炼成数据模型，再通过数据解决业务问题。

  建数据模型，会经历业务建模、概念建模、逻辑建模和物理建模四个阶段。

  

  在模型选择上，我们仅列举两种模型，星型模型与雪花模型。通常情况下，为了能下游能更好地理解业务，快速提供数据服务，我们会采用空间换时间的方式，从而选择星型模型；而在维度信息变化非常频繁，或者数据存储成本非常高的情况下，我们可以采用雪花模型。归根到底，数据模型没有好坏之分，只有能否解决业务问题。

  最后需要强调，对于技术和模型的选择，我们做了一些推荐和优劣势的介绍，但技术和模型本身没有对错之分，适合自己的才是最好的（能解决业务问题才是最好的）。

  03 数据中台的架构设计

  我们把数据中台的架构分为三层，数据资产层、数据服务层、数据应用层。

  

  这张图从下往上看，首先通过数据治理、数据开发、借助数据仓库，把数据转化为可用的数据，即资产「数据资产化」；然后建立数据能力，把数据用起来，例如标签工厂、模型分析等，即「资产服务化」；再通过智能化的场景给业务赋能，也就是「服务智能化」。

  04 AI驱动的数据中台

  奇点云创立三年来，数据中台的实践在零售、时尚、百购等行业相继落地成功，在实践经验中，探索并检验出了数据中台的王道：AI驱动的数据中台。

  所谓「AI驱动」，我们可以看到在架构中融入了奇点云独创的「云（智能）+端（感知）」的解决方案，从数据采集层的AIoT到数据服务层的算法服务、分析引擎再到顶部的数据智能应用，实现了「云赋能端，端丰富云」，既解决企业数据生产的问题，又解决企业数据使用的问题。

  

  在「AI驱动的数据中台」实践的道路上，奇点云自研一站式大数据智能服务平台——DataSimba，旨在为企业提供全链路的产品+技术+方法论服务。其核心模块包括全域数据采集、数据开发、数据治理、数据资产管理、数据API、数据科学、数据质量、标签工厂。助力企业快速搭建安全、易用的数据中台，最大化释放价值，驱动业务增长与创新。