自阿里最早在2015年推出“中台”概念以来,中台和数据中台就迅速中国市场蹿红,以至于Gartner在《2020中国ICT技术成熟度曲线》中首次增加了“数据中台”和“中台架构”这两大新兴技术。Gartner指出,考虑到过去几年其用户的指数级增长,中台已成为中国市场的一个关键话题,很多企业认为中台是加速数字化转型的关键因素之一,但如何设计可落地的中台架构却是市场上很多IT负责人的挑战。
数据中台是各类中台概念中最炙手可热的中台技术。Gartner《2020中国ICT技术成熟度曲线》指出,鉴于市场中的过热炒作以及关于数据中台定义和交付方式的固有困惑,数据中台技术更进一步接近期望膨胀期。阿里巴巴集团提出了数据中台概念,很多互联网企业随后也给出了自己的定义和产品,而企业机构如果不清楚如何在自己的业务环境中构建可复用的数据和分析能力,将难以有效地采用这些能力。
“期望膨胀期”其实很符合当前数据中台市场的状态,很多数据中台厂商提出了各自的观点,结果却是制造了更多的数据烟囱和数据孤岛。刚刚入选了IDC企业数据智能实施部署指南典型应用方案商、也同时入选了Gartner《2020中国ICT技术成熟度曲线》报告中数据中台样本供应商(Sample Vendor)的明略科技,提出一套独特的数据中台方法论,解决了在实际数字化转型过程中,从数据到智能、从传统IT到新型数字技术、从传统业务流程到新型互联网业务的连接与转换,在不改变政企现有IT的前提下,完成数字化转型。
2020年12月4日,在明略科技“让数据中台进入数智化时代”媒体交流会上,明略科技数据中台负责人刘国栋介绍了这一独特的数据中台方法论。
“数字化转型不仅是企业在新一轮技术浪潮中迸发新活力的发动机,更是企业面向未来的战略布局。”这是在2019年11月明略科技集团举办的2019数据智能峰会上,明略科技集团创始人、董事长兼CEO吴明辉所提出的判断。在当时的峰会上,明略科技发布了“新一代数据中台”产品,强调以知识图谱为行业Know-How的载体,以“数据协作、共建共享、达成共识”为显著特征,以“为行业客户构建企业智慧大脑”为终极目标。
一年过后,明略科技数据中台负责人刘国栋将明略科技的数据中台实践总结为数据中台的核心技术体系,具有三大维度:第一个维度是EAI企业应用集成/企业流程集成(iBPMS/RPA),第二个维度是异构计算/联邦机器学习(HATP/FL),第三个维度是面向对象架构(OOA)。刘国栋强调,数据中台技术体系是一套很经典的信息工程管理体系,已经存在了很长时间,只不过在每个阶段的表现形式不一样。
首先,第一个维度的核心就是集成,借鉴了历史上经典的企业级架构集成和业务流程集成,集成技术能力是支撑数据中台内核的大主板,在这个大主板上可以按需Plug in、Plug out以及编排各种管理能力、生产能力、协同能力;其次,第二个维度也就是异构计算平台/联邦机器学习,数据中台最终需要完成或者支撑异构计算体系和异构数据的挖掘以及分析体系的各种有效协同联动;最后,第三个维度即面向对象架构,这对数据中台来讲又意味着两个维度,一是数据中台的用户要获得一种所见即所得的体验,二是数据中台内在的工程体系通过面向对象的设计能够保证技术模块的高可用、可扩展。
在数据中台技术三维度外,明略科技认为数据中台最核心的两个要素是数据全生命周期与企业级联邦中间件。数据全生命周期管理指的是包括接入、整合、加工、消费等在内的四个阶段。其中,接入的核心功能是对多元异构数据进行接入,以及对有效数据资产的分发;整合则是对数据资产有效的梳理和管理;加工是基于算法模型,产生具有新商业价值的数据;消费指的是对既有的数据资产进行有效使用。
企业级联邦中间件的“联邦”具有两个维度:第一个维度是企业新型的IT和DT能力和传统IT和DT能力的平滑对接,最终达到有效协同联动的目标;第二个维度是对异构的计算能力、管理能力、组织能力按需协同编排协同联动。刘国栋强调,中间件是一个承上启下的定位,最终效果是保证后端相对稳定、前端数据业务快速迭代。
数据中台技术体系三维度以及两大要素是明略科技自己独特的数据中台方法论,明略科技还提供了完整的数据中台产品和技术,帮助企业通过数据中台的建设而牵引数字化转型。刘国栋强调,数据中台是组织数字化转型的中枢支撑。
怎么理解明略科技所提出的数据中台方法论?如何用数据中台组织和驱动政企数字化转型?
具体来看一个实际的案例。
作为腾讯云拥抱产业互联网的合作伙伴,明略科技依托“两横多纵多中心”战略,与腾讯云在多领域展开深度合作,助力政企响应新基建,加快数字经济发展。明略科技凭借“数据中台”和“AI中台”(即两横)的强大数据治理和知识图谱能力,在底层技术方面为腾讯云提供基础组件。例如,在长沙城市超脑数据中台项目,短短三个月内完成了56家委办局的数据对接,入库了27亿条核心的平台数据。明略科技与腾讯云一起在三个月内打赢了一场四个一百的“战役”:一百个系统上云、一百类核心数据的数据盘点、一百项政务一体化服务的落地、一百万活跃用户,通过一系列扎实的数据中台支撑能力,帮助长沙政府在数字化转型过程中打下了良好基础。
那么,在长沙超级大脑项目中,是如何体现明略科技数据中台技术体系三维度及两要素的呢?首先,可能也是最令人费解的就是集成,明略科技选择的是EAI企业应用集成以及企业流程集成iBPMS和RPA。熟悉企业IT技术历史的人都知道,EAI和BPM是传统的企业业务与流程集成技术,iBPMS是在BPMS基础上附加了人工智能技术进行充实。整体来说,EAI和iBPMS都属于传统业务流程集成范畴,而RPA业务流程机器人则是近年来炙手可热的业务流程集成技术。EAI、iBPMS、RPA这三个业务流程集成技术,与数据中台的关系是什么?
刘国栋具体解释,很多政企客户都有老旧的IT系统,也有基于Hadoop等新型DT系统,这些系统都参与到了核心业务系统。因此,明略科技在进行数据中台规划时,在业务流程管理方面试图把新老业务系统关联起来,快速编排、快速协同,从而形成新的业务流程,比如超级大脑业务。简单理解,明略科技的数据中台并不完全是字面意义上的数据中台,而是提供了支撑业务平滑过渡的数据业务中间件,也就是在不改动原有业务系统的前提下,将原有业务的不同流程重新关联起来,进而形成超级大脑这样的新业务流程。
其次是异构计算/联邦机器学习。对于传统政企来说,早已经存在不同的IT系统,使用了不同的计算引擎,例如Oracle、MySQL、Hadoop等新旧计算引擎都在同时使用;此外,例如长沙超脑项目还需要加入腾讯云TBDS等新型计算引擎。当这些不同的计算引擎在政企的IT环境中同时存在时,就是完全异构的计算系统。当业务流程编排完之后分发计算任务时,有一部分确实要推回到原有计算引擎上完成相应的计算任务,有一部分则运行在像TBDS这样的新型计算引擎,然后通过类似于总线的概念把计算结果协同联动。
第三是面向对象的设计。通过面向对象的设计,为新业务系统和数据中台的使用提供了良好的可视化能力,例如,基于增强元数据系统,长沙各委办局的业务和技术人员拥有了直观洞察整个系统的各种能力而且可以直接关联。将业务术语,流程等熟知的业务元数据体系与类似于库表类的技术元数据体系实现双向mapping,保证了业务端用户和技术端用户都随时互联互通,具备全面深度的业务数据insight的能力。对于新加的业务流程,也不用再找一个IT公司实施,只需要在明略科技的数据中台工具上把业务流画好再导入系统,就是所构想的新业务流程。当业务流程完成后,还可以通过明略科技数据中台工具,以可视化的拖拽方式与相应的数据库、表关联起来进行配置。
刘国栋强调,以数据中台牵引长沙超脑这样的数字化转型,确实是很复杂的工程,但万变不离其宗——工程不是颠覆而是兼容和协同。大家经常说技术栈,是一套一套的技术形成各自体系,既需要继承传统经典的技术,也需要协同后来的新技术。以前是通过数据湖方式,但后来证明这条路适合下游末端分析,但不适合组织协同和共识,于是明略科技采取的就是联邦协同技术。
可以说,明略科技的数据中台是在实战中总结出的一套方法论与完整的技术体系,以数据中台牵引数字化转型、支撑新旧业务的连接与转换,是企业面向未来的战略布局。
明略科技的数据中台,解决了很多实际政企IT环境中的问题。例如,EAI、iBPMS等其实是传统的企业技术集成界面,为什么明略科技沿用这些技术呢?刘国栋具体解释,明略科技数据中台的数据业务流程管理,其表现形式与过去的BPM、OA、ERP中的中间件一样,这样做的目的就是让用户体会不到差别。但是,表象之下的实际技术其实已经发生了重大变化。
明略科技的数据中台,在交互和形态与过去的交互体验很类似,这让用户很容易就上手,因为界面很熟悉,但是明略科技可以做到多集群,异构集群,异构云的业务流程编排,可以迅速在多集群和异构集群之上编排出新的一套业务流程。例如,内地某城市的业务部署在不同云上,明略科技可以实现不同云、云与本地IT之间的异构协同与联邦协同,让不同技术能够协同管理、协同工作。
明略科技的数据中台,是作为大数据基础设施的承载,在新型大数据引擎上,选择与腾讯云TBDS合作,实现云原生数据中台体系,集成了腾讯在海量数据存储计算上的经验和能力,可以提供万级集群节点规模、PB级数据存储与处理能力、上千维度千亿规模数据的秒级交互式查询能力、以及经过腾讯95%业务验证的平台高可用性能力。双方优势互补,在为用户提供的数据中台方案整体能力上,解决了用户在技术侧的后顾之忧。
而明略科技的数据中台之所以选择联邦协同而不是数据湖,刘国栋强调并不是数据湖技术不好,数据湖有其优势,特别是数据集中到一起后,工程设计和效率都可控。但数据湖往往忽略了一个问题——组织和用户是活在现实当中,不是活在技术里面。作为组织来讲,容易出现争抢利益的现象,因此数据壁垒解决不了,导致数据湖出现问题。而之所以转向联邦协同,这是因为联邦依托于契约精神,而契约精神则是双赢的。
刘国栋强调,数据中台不是简单地完成调度和流程编排,而一定要把已有的系统、现有的系统和新的技术体系关联起来,让它们互动,这才是挑战所在。
总体来看,明略科技数据中台架构的底层接入了多元异构的数据源,通过数据标准化、数据质量管理、数据安全、增强元数据、运维管理体系等完成数据资产常规的运营管理。在此之上通过增强数据操作系统,解决数据中台价值的发挥和开发。数据全生命周期作为一种管理体系,对数据的接入、整合、加工、消费等进行全生命周期的管理。之上的数据资产运营平台,从运营的维度对数据资产做综合分析,包括数据资产分析、数据资产图谱、数据资产交易等管理体系。
总结而言:2020年9月,国务院国资委正式印发了《关于加快推进国有企业数字化转型工作的通知》,数据中台作为企业数字化落地的关键技术,帮助各行各业全速进行企业的数字化重构与转型。明略科技的数据中台作为从实战中走出来的技术体系,与政企的IT现状相结合,在继承已有体系的基础上,关联和集成新的体系,真正把数据中台落地,进一步通过数据中台的建设推动政企数字化转型,帮助政企脚踏实地的进入数智化时代。(文/宁川)