构建通用数据中台架构

​​企业数字化转型

 

数字化转型（Digital transformation），建立在数字化转换（Digitization）、数字化升级（Digitalization）基础上， 又进一步触及公司核心业务，以新建一种商业模式为目标的高层次转型。数字化转型是开发数字化技术及支持能力以新建一个富有活力的数字化商业模式。企业数字化转型是未来市场发展趋势。

 

在IT时代走向DT时代这样的大背景环境下，数据爆发式增长，海量数据资源等待挖掘、盘活价值，企业战略思想上必须认知到数据资源的价值，将数据资源转变成为数据资产，加以整合应用，实现数据资产的可变现，才能具备市场竞争优势。但是，在传统IT建设架构下，企业内部各部门之间的系统相互独立，呈烟囱林立状，系统产生的数据多源、异构……无法实现互联互通，无法快速满足企业实时业务的交流、协同和合作（3C:Communication, Coordination and Corporation）。这是企业数字化转型的痛点，也是难点。

 

 

 

数据中台出现

 

只有可管理、可调用、可变现的数据资源才能成为数据资产，才能帮助企业实时统筹、科学决策。数据中台的出现，解决了信息系统之间的互联互通、多源多维度的数据集成问题，是企业数字化转型的利刃，能够完美实现数字经济的数字资源资产化、数据资产服务化、数据服务价值化。这是数据中台的价值。

 

 

构建数据中台架构

 

数据中台的目标是通过中台提供的工具、方法和运行机制，把异构资源的数据变为一种服务能力，让数据更方便地被业务所反复使用。灵长科技定义的中台是“承担多源异构资源系统的交互枢纽，聚合和治理资源的多维数据，统一抽象封装成服务形式，服务于多维用户，实现业务价值”。

 

下图为中台总体架构图，中台是在底层各类设备，数据和服务系统资源与上层的应用之间一整套承上启下的体系。中台屏蔽掉底层不同系统的技术复杂性，降低对应用开发对底层系统技术人才的需求，让底层资源的使用成本更低。通过中台的抽象统一，汇聚集成、开发模块建立企业统一的资源池，通过资源管理与治理、开放服务把资源变为数据服务能力，服务企业业务。中台的安全和运营体系保障了中台可以长期稳定、持续运转。

 

 

那么，一个通用的数字协同服务中台架构应该如何构建？主要分为以下五个部分。

 

1. 资源的连接和汇聚

 

大量的异构资源包含像物联网、传感器等各类设备，不同的业务系统，数据库，文件日志，各类网络服务。这类设备和服务都会产生大量的数据。这些数据分散在不同的网络环境和存储中台中，不整合难以利用，很难产生业务价值。资源的连接和汇聚是数字协同服务中台必须提供的核心工具，连接不同的异构系统资源需要处理大量的通讯协议，整合不同的数据格式。由于前端业务团队不可能，也不应该配备大量对底层资源了解的技术人员，中台就起到了承上启下的作用。通过统一抽象的机制，将这类资源整合起来。形成中台管理的统一资源。

 

2. 数据的统一和调理

 

中台本身几乎不产生数据，所有数据来自于各类资源：设备（物联网，传感器），业务系统、数据库，日志、文件、网络服务等。中台把各种网络化分布、异构的数据源汇聚起来。可以根据业务需求采用不同策略：既可以集中存储，为后续的加工建模做准备；也可以动态抓取，支持实时业务流程。数据汇聚方式一般有数据库同步、埋点、网络爬虫、消息队列，接口调用等；从汇聚的时效性来分，有离线批量汇聚和实时采集。资源以不同的数据形式汇聚到中台的数据入口，中台的第一个工作就是要转换并统一数据格式，只有这样才能有效地汇聚数据资源，进一步发挥协同效应。

 

仅仅数据格式统一还不够，业务很难使用按照原始状态堆砌在一起的数据。数据调理是把杂乱无序的异构数据转化成对业务有价值的形式，提供给业务使用。通过中台提供的一系列数据转换和调理工具和模块，开发分析人员可以高效地进行数据调理。中台会提供离线、实时、算法开发工具以及任务的管理、代码发布、运维、监控、告警等一些列开发集成工具。

 

3. 资源管理体系

 

有了资源的连接汇聚，数据的统一和调理，中台已经具备统一整合资源和管理的基本能力，可以建立统一的资源体系。这些资源是中台的血肉，业务层可以通过数据来开发、管理、使用资源。现代企业业务对数据的依赖越来越高，数据资源的一致性和可复用性至关重要。垂直烟囱式的服务建设方式由于复用性差注定不能长久存在。中台正是要打破烟囱，通过对资源的统一建设管理，为多方业务团队提供高效的，标准的，可复用的服务。实践中，统一建模，统一数仓、统一标签数据等方法被广泛使用。中台的资源管理是方便应用方更好地了解和使用这些资源：把资源展现给应用层用户（统一的资源目录），管理资源的使用权限（权限管理），决定谁能使用（用户管理），资源的生命周期管理（升级和回滚）等。总之，中台以一种更直观的方式展现拥有的资源，直接为业务服务。

 

4. 数据服务体系

 

前面通过资源的汇聚，数据的统一和调理，数据资源的管理和展现，中台已经完善地整理出企业的资源。数据服务体系就是把资源产生的数据变为一种服务能力，通过数据服务让数据参与到业务，激活整个中台为业务服务。数据服务体系是中台存在的价值所在。企业的数据服务是千变万化的，中台产品可以提供一些标准服务，但是很难满足企业的服务诉求，大部分服务还是需要通过中台的能力快速定制。因此，中台除了提供丰富的标准服务模块外，还应该提供快速的服务定制化开发能力，以及对服务的管控、鉴权、计量等功能。更进一步，任何业务都在不断的变化发展，因此已经开发的服务也会不断的需要做出相应变化。中台需要对这类服务的变化提供高效的开发变更工具，例如代码开发，文档变更，测试调试等自动化工具，来响应不断变化的业务需求。

 

5. 安全运营体系

 

通过一系列的系统步骤：数据汇聚、数据开发、数据资产、资产管理、数据服务，我们已经完成了整个中台的搭建和建设，在业务中发挥价值。安全运营体系是中台得以健康稳定、持续运转的基础，中台需要有一个全方位的安全管控体系和功能，例如，全时段运营监控下的限流和熔断机制；对数据服务调用的监控和日志；对数据调用和传输的安全机制等。安全运营体系保障中台正常地持续运营，不能发挥其应用价值。

 

（完）

 

未经同意，本文禁止转载或摘编。

 

灵长科技自主开发的智能连接和数据集成中台，是基于API的新一代面向服务框架（SOA）技术，将系统连接、数据集成与融合、业务逻辑全部通过松耦合集成于一体的开发平台。

可点击官方网站

灵长科技​www.apemesh.com 进一步了解更多详细信息。

 

如您对小编分享的文章感兴趣，您可以在文章下方点赞、分享或收藏；还可以通过搜索关注知乎专栏《微服务应用开发和API管理》，或者扫描下方二维码关注灵长科技官方公众号，获取最新更新动态。