点击观看大咖分享
抗击疫情,腾讯云在行动。数据中台是企业数字化转型走向智能化的重要承载体系,如何建设数据中台? 是否有标准的产品可以购买?企业构建数据中台有什么注意事项? 本课程结合上一期的案例给大家介绍企业建设数据中台的方法,精益数据创新体系。
本次腾讯云大学大咖分享课程邀请 腾讯云最具价值专家TVP 史凯 分享关于“如何建设数据中台:精益数据创新体系”课程的内容。
作者简介:史凯,花名凯哥,腾讯云最具价值专家TVP,ThoughtWorks数据智能业务总经理。投身于企业数字化转型工作近20年。2000年初,在IBM 研发企业级中间件,接着加入埃森哲,为大型企业提供信息化架构规划,设计,ERP,云平台,数据仓库构建等技术咨询实施服务,随后在EMC负责企业应用转型业务,为企业提供云迁移,应用现代化服务。现在专注于企业智能化转型领域,是数据驱动的数字化转型的行业布道者,数据中台的推广者,精益数据创新体系的创始人,2019年荣获全球Data IQ 100人的数据赋能者称号,创业邦卓越生态聚合赋能官TOP 5。2019年度数字化转型专家奖。打造了行业第一个数据创新的数字化转型卡牌和工作坊。创建了精益数据创新方法论体系构建数据驱动的智能企业,并在多个企业验证成功,正在向国内外推广。
一、跨业态产业集团数据中台建设过程剖析
实际上这个项目不仅仅是数据中台,而是一个典型的双中台。到现在为止,我也没有看到有另外的企业这么专注于数字化,并且能够有那么大的魄力去把40多家企业、100多个法人组织整合在一起,做数字化转型。这个企业的案例是非常典型的,他做了两个中台,一个是业务中台,一个是数据中台。这个项目是17年的时候做的,18年上线,一年的时间,就产生了新的业务,并且把集团全业态打通,所以这个项目是非常有典型意义的。我们重点来介绍一下这个案例。
第一背景是什么?该客户是一个物流、仓储、航空货运、供应链金融以及电商5大业务板块的综合性的产业集团,非常大。原来他有40多家企业,并且有十几个机场。在17年的时候,成立了一个大的集团,把这些原来分布在各个公司不同产业的企业全部合并在一起,他的目的是要打造一个现代化的物流服务产业。
我们可以想象一下,航空物流、零售机场、跨境电商,它是属于一个价值链的,和阿里的中台就有很大的区别,阿里的无论是天猫、淘宝、聚划算这些都是零售型的、电商类的业务,所以他建数据中台、做业务中台是有非常典型的复用性。但这个客户它的复用性就会比较小一些,因为它是一个顺序的关系,比如说一个跨境贸易,能够把它整个的业务串起来,从买方产地买过来后,把产品设计出来,通过跨境电商交易,成单以后,通过别的国家的物流、收单,通过航空货运运到,中间又有跨境电商、通关、报关、海关的贸易,最后把货物交到消费者手中,整个价值链是闭环的。
那在这样的业务场景下,如何去建设业务中台和数据中台,这个项目非常的典型。我们来看一下,他们整个集团为什么要把建设数据中台,因为他们希望用数据作为抓手,去推动集团的数字化转型,原来他们用流程去抓手的时候,实际上是很困难,因为他的时间很少,他希望一年时间,既把系统建设好,同时把业务跑起来,这个是非常困难。那么他们怎么做的呢?
当时我印象非常深刻,最早他们的董事长找到我们,给他们做这样的转型。我们做了什么事情?
第一点我们统一愿景,同时我在西安给他们整个集团,将近100个企业的高管,300多人在一个非常大的酒店,做了闭门的培训,他们的前三把手全部参加了,这是一个非常有魄力的企业,能够让他们的前三把手、企业的高管闭门在西安培训2~3天,在这2~3天里面,我们统一了愿景,给大家培训了数字化转型的方法趋势、项目的战略,其中非常重要的一点,明确了以数据作为抓手,通过数据的打通、数据的集成,去完成这么40多家企业的合并,完成产品的创新。用下图就能清晰的解释,通过数据集成、数据的共享和分析,那在创新这一侧,能够探索出新的产品,发现新的业务价值,发现人所不能够理解和观察到新的创新点,这是推进创新。待会我们会讲到,通过这个数据中台,发现了非常多的业务场景,然后用这些业务场景产生了一些非常有价值的新的业务。
第2点,在梳理数据的同时,因为这些数据都是由遗留系统产生的,可能过去十几年或者各个业务系统产生的,那通过对这些数据的梳理、集成、分析,能发现原来业务系统当中的不合理、哪些流程需要优化的地方,所以就会发现,数据往前可以做创新,追溯可以做优化。所以这就是当时这个企业为什么要用数据作为抓手去推动企业数字化转型很重要的原因,因为它非常实。我印象非常的深刻,我们当时去梳理货运,因为它有好几个货运公司,梳理货运公司的系统,梳理完后,就发现有的数据表之间有非常多的冗余,字段与字段有时候也对不上,业务层面就有很多的冲突,这种情况下是为何会这样?我们就梳理出来,这是因为在过去的流程重组、优化的时候,流程上有非常多可以去改进的点,有很多为了去适应合规或者适应某个阶段、某个领导的意图、一些阶段的业务目标,那么就改变了业务流程,从而让数据发生了变化。但是再往下走的时候,没有还原回去,所以用数据作为抓手驱动企业的数字化转型,是当时这个项目最重要的目标。
我们来看一下,他们都做了哪些事情?整个项目做了4件事情,处在4个层面。
1、 一切的变革和转型,包括业务中台和数据中台的建设,他都一定是和组织结构息息相关的,特别是业务中台,数据中台稍微还好一点,因为数据和业务的紧密关系可以走另外一条线,它不影响说生成订单、原来的业务流程,可以通过数据的分析,去给原来的业务带来智慧,但是业务中台一定是跟组织结构完全息息相关。
它首先是在组织结构层面,成立了集团的数字化运营部,同时成立了数字化业务运营的公司,一个是集团层面的部门,另外一个同时成立了实体的公司,这个公司去运营数字化的业务,同时通过资本的运作给公司注入资本,同时解决一个最重要的问题,就是传统的业务数字化以后,产生了增值,这部分增值如何进行利益分配,这一点是尤其重要的。我们现在所看到的很多的企业数字化转型面临的问题,我举个例子,我原来是做销售公司的,我做业务做得好好的,然后冒出一个电商公司,或者一个数字化的部门,说把数据给到我,然后我能产生新的业务,给企业带来新的价值。那我把数据给到你,你给企业带来的价值跟我的关系是什么?这就是非常重要的一个点,当时这个项目就很好的解决了这个问题。
通过先是虚拟项目,然后变成实体化运作,通过这种孵化到投资整个一条线的运作,能够让原来那些老的利益既得者,原来产生数据的这些业务部门和实体,核心的数字化的业务共享收益,这是从组织层面,这是非常重要的。在一开始的时候统一愿景,做大规模的培训,让大家意识到这个趋势,同时设计好利益分配机制、度量指标,这是最底层的。
2、 上面一层数据资产层,我们在启动这个项目的第1件事情就是梳理企业的数据资产蓝图,这里我们前面讲过很多遍,数据资产不仅仅是那些他现在有的数据,采集到了存储在数据库里的数据,还包括那些他现在没有但是未来会用到,未来可以产生的数据,把数据资产蓝图构建起来。
那么我们想一想,数据资产蓝图是什么?数据资产蓝图就是这个企业的业务映射到数字化世界里的模型,梳理了数据资产目录,构建了精益的数据治理的体系。在这个基础之上进行持续的数据价值的探索。
3、 在上面构建技术平台,那就是技术平台。技术平台这个领域,我们做了数据资产的目录,构建了数据创新的协作平台、数据AP I平台、数据实验室,构建了业务中台,当然这是上面业务应用层。
4、 业务应用层。当挖掘到了新的数字化产品,整合了新的业务应用,那么最顶层就是业务应用,然后通过这些新的业务,通过整合的门户,把用户共享,把订单打穿,把支付整合。最后能做什么?物流的客户可以变成仓储的客户,仓储的客户可以变成机场货站的客户,机场货站的客户,又可以变成供应链金融的客户,所以把整个价值链全部打穿,在这基础之上沉淀跨域的数据,然后在这些数据基础之上进行业务的孵化和创新,这样的话就形成了一个闭环。
所以这是当时这个项目构建的一个整体的价值链的蓝图。我现在回想起这个项目,印象非常的深刻,因为这个项目当时我们跟客户的合作也是非常的有前瞻性,我们不仅仅是甲方乙方的关系,更多的是一种合作伙伴的关系。在这个过程当中,我们帮助甲方客户一起去规划整体的战略,帮助他参考如何做组织结构的变革,包括我们还帮他去面试,去筛选梳理那些数字化的能力和有魄力的这种重要的人物。所以整个项目实际上进程是非常快的。我们刚才讲到的是重点做了4件事情,那么下面我们来看一下,这4件事情最后是如何去落地的。
当时我们立了这些项目,因为最终到企业层面,特别是财务的要求,我们最终所有的一切都是以项目的方式去运作的。那么当时我们完成了这样一系列的项目,第1个项目,我们做了高层的宣贯培训,西安300多个集团的高层领导,包括CEO/CIO/CDO,CIO指的是 innovation officer就是首席创新官,企业CIO和 COO就是首席运营官,是同一个人。大家都在一起完成整个高层的培训和宣贯,统一意识、统一愿景。然后在这基础上,完成进行了一个精益数据战略的咨询。这么大一个企业,我们花了6周的时间,帮助他去梳理数字化转型的战略,因为我们是以数据作为抓手,完成了公司层面整体的数据战略,梳理了数据资产目录,发散了最有价值、最典型的业务场景,完成了双平台的架构设计,同时启动了数据治理和数据探索的咨询项目。在整体的大的战略咨询完了以后,我们就分兵分两路,一路是实体的建设系统,另外一路持续整合数据、挖掘价值、做数据探索。这里面实体的项目,包括构建数据资产创新平台,实际上这就是我们所讲的数据中台,然后在数据中台的基础之上,构建数字和数据的产品,当时我记得很清楚,第1个产品就是货仓的优化,还做了跨境的商品交易,然后在上面打穿了整个所有的企业业务系统,构建了一个4.0的业务平台,实际上现在我们看来它就是业务中台,然后同步的有另外一个项目组,它是以咨询的方式持续的去挖掘数据、整合数据、发现数据里的价值,发现这些场景有价值,就立刻往上有可能就变成一个数据产品,在这个平台上去构建起来,提供给客户。所以整个是三大步骤,6个项目,这是当时整个的过程。
我们看一下当时做了哪些事?第一构建了一个整体的平台,下图中左边是整个数据中台的一个蓝图,整体的架构。我们会发现这个数据中台的架构,实际上和我们前面讲的工厂的概念是很相似的。下面是云,上面是整个的平台和最前端的数据应用。然后这里面探索产生了非常多的数据产品,比如说辅仓转运率的洞察提升、货代价值的洞察,提升货物品类的准确度,包括去产生新的跨境贸易的这种数字化的产品,这是整个的建设成果。
我们来看一下具体是怎么去做的?下图左边是当时在项目启动构建之前的架构,他们当时有很多不同的业态,然后每个业态都有自己的信息化系统,信息化系统的建设的成熟度层次不齐,有的有数据也有应用,有的系统是很规范的,有的信息化水平比较落后,可能连系统都没有,或者是它的系统很多都是手工操作。以前每一个用户进来,下订单、购买服务都是在不同的系统里面,独立的业务系统有很多,legacy system非常多,有物流、货运、通关报关、电商,像机场货站可能都没有系统,因为他用的是机场的航空公司的系统,数据只要往航空公司里录就好了,自己录一些结果性的数据,系统很简陋,这是它整个的现状。
那么我们想象一下刚才提到的数字化转型的项目,他们希望达成的业务目标是要把这些不同的企业的用户整合在一起,让仓储的用户能够 cross sale到物流,让物流的用户 cross sale到货运,这是一个目的。第2个目的,整个公司的订单支付全部打通,把资金能够形成沉淀,最后可以去做供应链金融,他们整体能够去洞察整合所有的用户,大部分都是tob端的用户。原来他40多家公司,可能有的公司几万用户,有的几十万用户,或者几千个用户,用户之间并不是打通的,他们希望构建这样一个系统,把整个的用户能够打通,打通了以后,他就能够做到我对我的用户全面的了解,我输入一个用户纳税人识别号,就清楚知道用户在我这个集团都有哪些业务,他在货物货运那,托我们运输了什么样的商品?他在物流那,他的快递,他的客户,终端的消费者是谁?这样的话,它能形成整体的端到端价值链的拉通,能够更好的为客户提供服务。那他怎么做的呢?
下图是当时我们设计的一个蓝图的想法,后来也实现了。我举了个例子,左边是公司1和公司2,有自己的系统。公司1的用户是蓝色的,公司2的用户是紫色的。第一从组织层面,这些公司全部按照业态合并了,在系统的层面,因为时间很短,集团是不可能说把所有的系统全部推倒重来,就做不到。原来的系统继续用,但是你不再具备直接面向用户的接口,我举个例子,原来这些用户是在公司1的系统门户上去下单,有个网页叫下单,用户登录进来,然后下单。
那整合以后,你这个网页门户取消了,不给用。在整个集团层面建一个业务中台,把下单的服务,原来有web页面要登录要操作的过程,服务化变成API。这个过程大家想一想,实际上是很复杂的,因为原来有登录,通过web页面可以做很多的人工的校验、权限的校验,然后一步一步的去录入信息,然后最后形成一个订单。现在整个过程,变成一个AP I就解决,那这个AP I是非常复杂的。这样的话,所有的用户的登录、下单、查看用户信息、退货、查看历史的交易,这些服务全部通过业务中台,把原来的系统AP I整合在一起,然后放到整个业务门户里面去。这样第1件事情就完成了,能够让所有集团的用户,40多家企业的用户,都通过一个统一的门户来登录,进行业务的操作,支撑它的是业务中台。
当时我印象很深刻,他有的公司,我举个特别典型的例子,我们去下一个货运的单子或者快递的单子,他有同城达、隔日达,这样的一些物流快递的业务。原来他自己企业有多个物流和快递公司,他收购了有的公司,每一个公司有自己的门户,然后用户可以选择自己的产品,你是送大件还是是冷链,是当天达、隔日答还是三天达,每个企业都设计了不同的物流产品,整合到整个集团层面以后,把产品进行合并,最后把所有的产品全部放到集团的门户上,新用户进来,就注册,那么他在注册的时候,大家想一想,这时注册的服务,实际上后台要一个个问一遍,要把所有原来的40多家、 十几家物流企业的系统都问一遍,说有个用户来注册了,它的纳税识别号是什么?你看你那有没有这个用户?如果系统一查说有,我就不让你注册了,直接就把你原来信息带过来,所以整个过程是非常复杂的,这里面有非常多的 transaction,统一了用户的注册、管理、合并流程,后台实际上是从流程到组织的整合,这样做完这个处是什么?有一个用户进来,他本来是要做物流的业务,他可能原来是冷链的客户,然后冷链发个通知给到B端,客户说从今天开始引用我们新的门户网站去处理业务。他的货代公司登录进来,发现原来冷链公司只有三个产品,现在有20多个产品,它不仅仅能做冷链运输了,还能做其他的业务,做跨境电商、做供应链金融,一下子sku就多了,他就可以看看是不是能够购买企业更多的服务,所以这样就把整个企业的服务全部打通了,但是它的后台是不一样的,因为真正的业务处理要通过业务中台把订单分配给后面的业务处理公司,实体的业务部门,分给谁呢?你如果分给了一个后面有系统支撑的,自动化运转。如果你分给了一个原来没有系统支撑的,可能后面人工去处理单据。
所以我们讲中台最重要的是给消费端提供自动化的服务。在这个项目里就很典型,有的部门/公司信息化水平比较弱,它后面没有系统支撑,那订单提交过来,显示的是系统正在处理,请稍等。后面实际上是人在处理,人处理完了,把结果反馈到业务中台,业务中台再给用户反馈回去,是这样一个典型的场景,这是第1个阶段,把系统、订单、用户整合,这时当我们的业务中台门户前台收到请求的时候,还是需要根据人工设定的规则路径去分配,他有个配置表,冷链的产品可以分给哪几个公司去处理。但是我们这个系统最终希望做到的是可以整合特别多的供应商过来,自动的去分配订单、优化订单、做模拟、拆单。
我举个例子,我们当时设计了一个跨境的贸易产品,从澳洲运送海鲜到国内,这是一个数字化产品,但它背后整合的可能是十几个公司的产品,买手的服务,买手买到了以后,通过快递发到主干物流,到航空货运,再到通关贸易,再到国内,国内再有一系列的服务商,它整合了多个服务商形成的这样的一个数字化的产品。要去选择哪一种物流,哪一个快递、哪一个货运、哪一个货站去为订单服务,这个选择的过程我们希望它是自动的、最优的,而且我们未来希望整合更多的供应商,可以智能的去分单,这个状态是当时我们设想的非常好的,并且也是这么做的,怎么做的呢?所有的系统数据全部整合到数据中台,这里面主要是用户数据、订单数据(交易数据和支付数据),当然那些跟具体业务息息相关的细节,不具有共性的,实际上当时在第一阶段并没有整合过来。
数据中台是用来调度业务中台的,比如说我现在生成的订单,应该推荐给哪一个后台的供应商去处理,在后阶段我们是用分析建模的方法实现,而不仅仅是说配置字段或者配置规则。所以可以看到前面是集团的整体的业务门户,然后是业务中台,业务中台把后面的订单、用户和支付的这些服务进行了整合统一,放到中间,然后由它去dispatcher,它是一个分发器,分发给后台不同的系统,这些不同的系统归属于不同的企业,但是业务中台分发给谁,怎么调度?怎么去判断用户是哪里的?是不是新用户?是需要注册还是不需要注册?来自于数据中台对它的调度。
具体的例子是什么情况呢?下图中左边是以前的流程,这是一个公司的系统,用户a进来直接下订单到物流公司去完成业务,都是隔离的。那在新的双中台构建完毕后,用户通过统一的服务入口进来,然后这里通过业务中台去做用户的匹配,看看 用户是新用户还是老用户,原来是货运的用户还是机场的用户,匹配完了后让用户登录进来,或者是创建新用户,然后做服务匹配,这个用户申请的服务和商品,我们要在后台调用哪些服务给到他,然后生成订单、服务调度。我们那时候讲的非常多的一个词叫智慧分单,就是希望通过数据中台去调度业务中台。然后业务中台把订单生成好后,就分发给后面其他原来的系统。第1期第2期做的事情也是非常先进的。所有的数据都在数据中台,所以业务中台是统一服务的入口,它统一调度订单、 transaction,数据中台是做整体的计算匹配、智能这些服务。
在这个案例里,我刚才也提到组织结构的重要性,当时这个项目我给他们设计了一个数字化部门,叫数字化运营部,这个部门和原来的组织之间的关系是什么呢?原来他把40多家公司全部变成一个一个个的板块,每个板块又有子公司,数字化部门是横跨所有的BU的,数字化部门的老大,就是整个集团的 CDO chief digital officer也是当时这个集团的数字化公司,也就是电商公司的总经理和董事长。他一方面在集团的层面整体负责数字化的转型,另外一方面,他同时运营数字化的业务,这就意味着这个部门它不仅仅是一个转型的推动和工具部门,他还有业绩的压力,他要承担着产生价值、产生业绩,是一个生产部门、一线的部门,所以这种情况下,这样的一个数字化转型的部门、一个数字化公司,首先他是布道者,要能够影响和推动整个集团的数字化的变革。然后他自己有团队,有平台,要通过这些团队和技术平台去赋能原来的业务单元,然后要去做连接,连接起老的业务和新的业务,不同的业务之间的价值,然后要探索新的产品,最后要优化整个的业务流程,而且他自己本身就是一个业务单元。所以这是当时数字化部门,也就是说这个企业做数字化转型的一个非常重要的基础就是组织结构的调整。这个项目是我觉得非常有代表性的项目,而且这个项目如果当时这个企业没有发生巨大的变化的话,我相信他最后一定是成功的。因为当时一年系统就上线了,就把多个40多家企业新的业务就整合出来了,我觉得这一点是非常难得去做到的,他的魄力和执行力,是我非常少见的。这是第1个典型的项目,我觉得这个项目非常适用于那些跨业态多业态板块的集团数字化转型。
二、典型[B2B2C]()企业数据中台建设过程剖析
第2个案例是一个非常典型的B2B2C的一个企业。它是一个品牌商,中间有代理商,代理商下面还有经销商,经销商把货卖给小门店,门店最终再把货物卖给小B客户,客户最后再把商品卖给消费者。所以它中间有很长的服务链条。这个企业实际上就是品牌商是后市场的,下图是它整个的链条。他为什么要做这个数据中台?为什么要数字化转型?他的诉求非常清晰,而且也非常有压力。因为原来这样的企业,他的业务特别好,但是到后来他面临很大的问题,是市场竞争越来越大。这种情况下,他就需要去了解他的客户是谁,原来他不知道他的客户是谁,只要经销商把产品卖出去就可以了,反正经销商也不愁卖。但是后来压力越来越大,经销商卖他的商品,可能还赔钱,这种情况下他希望能够赋能经销商,能够帮助经销商赚钱,同时他又面临这种互联网直销野蛮人的竞争,而且消费者端对于服务的要求越来越高。它的业务痛点总的来讲可以归纳为5点。
1、市场费用花了很多,但不知道带来什么效果,不知道投入的市场费用带来了什么样的订单,有没有转化。
2、没有c端数据,只有sell in,没有sell out。只知道卖出去多少给到经销商,但经销商卖了多少给到门店,门店卖了多少给消费者,他不知道。对市场的库存不精准掌握,这是它很大的问题,这样他也就无法去做预测,无法优化。它的生产和预测,很多时候宏观通过market share、 market size做预测。
3、线上的流量无法导到线下,因为他们当时很注重流量,买了很多的流量,但是这些流量能不能转化到线下、产生订单他不清楚,没有办法匹配、对接。经销商的数据拿不回来,所以不能回到线上形成闭环。是当时的一个业务痛点,也有技术痛点,因为这个企业原来是业务生意非常好,所以并没有特别注重信息化的建设,而且它也是一家全球化的企业,那么它在国内的信息化建设会比较慢,因为它主要follow到整个global的系统策略,很多的分析都是靠人工的Excel处理,技术基础比较薄弱,架构也比较陈旧。IT预算非常少,基本上没有,那时候连个IT部门都没有,这是当时的一个情况。
当时他们希望做数据平台、做数据仓库,因为他们的领导是非常有魄力,而且非常有业务science的人,他非常清晰的知道所有的问题都来自于数据,他希望把数据整合,赋予业务的销售部门、经销商管理的部门、市场部门,就说要做一个数据中台,当时不叫数据中台,是要做个数据平台、数据仓库,然后把数据整合起来,他自己是一个数字化部门,同时是电商的负责人,他用业务的预算来做数据的事情。但是当时我们分析了一下,因为他的IT预算比较少,而且我们觉得如果做一个大而全的数据平台的话,可能把预算花完了,并且数据平台还并不能产生价值。因为数据平台做的事情是把数据采集进来,但是如何让这些数据给客户用,做一个比较大、全的数据平台,投资比较大,建设周期比较长,但可能半年也看不到业务效果,所以当时我们并没有这么推荐他去做。
我们推荐他什么样的方法?
1、当时跟他们一起做了业务场景的蓝图,去识别这些场景,梳理出这些数据、可能有的数据和未来有的数据能干什么?对业务价值是什么?对业务场景发散场景、找到场景,然后梳理出建设路径图,这是第1部分。
2、我们在数据基础之上梳理整个的数据蓝图,并且在这过程中进行了数据资产的评估,梳理了这些数据资产的价值。
3、在这基础之上梳理了数据服务蓝图,因为他原来还是有一些遗留系统,我们把这些遗留系统改造,然后哪些服务要做服务化,沉淀成业务的AP I,哪些服务服务化沉淀成数据的AP I,哪些是主数据?哪些是智能的服务?把这个数据服务蓝图构建出来,这样能够知道它未来整个的优化。同时这所有的一切都是场景牵引的,也就是说我先做什么场景,这个场景需要什么服务需要什么数据,都是很清晰的,一环一环的跟上。
4、最后在这基础之上构建了技术平台的蓝图。这个蓝图就很有意思,我们不是说一下子就把下图中左边这样一个大的数据中台构建出来,而是说我们把大的数据中心设计好以后,根据场景牵引着一点一点来做。先做第1个场景,然后看第1个场景需要数据中台里面哪些数据服务,这些数据服务需要数据平台提供什么数据基础能力,这样从上到下牵引的去建设。这样有限的预算,既能够把中台的平台层功能建立起来,同时又能把上面的业务场景做起来。又有业务价值。到最后,我既能够让企业看到业务价值,又能够整体的把这个平台构建起来,这样的过程就非常好。
5、最后还建立了整体的运营蓝图。当时成立了数字化部门,设立了长效的数据分析和运营的团队,然后将数据分析师放到每一个业务部门去,定期进行数据创新的活动,持续在数据当中找到价值。这样就不断能够帮助这个企业走到用数据去驱动它的业务。
这里面我们发现了一个非常有意思的现象,因为原来有一个误区,我们大家都认为说做数据和人工智能类的项目,算法是非常重要的,确实也是,算法很重要。但是算法和软件工程能力,哪一个更加重要?这个问题我们可以想一想,当时在这样的一个项目里面,我们做了很多的探索、很多的分析,这里面也会有很多算法的事情,但是真正当我们要把这些算法应用到实际当中,去变成软件让业务人员去使用,变成在生产过程当中自动化的持续的去产生价值,被很多人使用的时候,我们就发现一个特别有意思的观察,算法的重要性比不上业务场景、数据以及工程能力的重要性。这个话怎么讲呢?比如说我们这里有一个case,我们在做poc的时候,在实验室里的时候,用采样数据,拿Python去建模,去做一个NLP自然语言处理的模型,然后拿这个模型去做标训就是去获取一些公开的招投标的信息,然后把这些招投标信息做nlp自然语言处理,然后用它来把这些招投标的信息对应到企业的产品,然后分析市场的market size、market share以及去复盘销售、赢单率,这个想法很好,然后我们在实验室里也能做得很好,但是最终我们想把它搬到生产环境去使用的时候,就会发现这个过程非常复杂。因为你要考虑自动化的特征值的提取,而且原系统的数据质量处理,因为你的标讯信息,招投标的这些网站不受你的控制,你的软件开发的能力非常重要,也许你在实验室里的模型整个做得非常好,但是,你到了生产环境的时候,就要考虑到非常多复杂的因素,以及如何去应对这些变化、可能性,对于这个软件的工程能力要求非常高。
后来我们就总结了这样的一个图,就是人工智能的4个层次,实际上算法是学术,真正我们现在所使用到的大部分的算法,有很多都是多少年前的,大家都是比较公开和常用的。但是使用这些算法,直接能产生价值到业务价值,中间距离很长,还有从算法上面是工程,要把它变成工程实现。比如说我们很多时候要把Python的算法要改成Java的,这样它才能去应对这种高性能的海量数据的处理,再往上变成平台层的服务,最后才能到业务应用这一层,所以这样来讲,从算法到业务价值,它的距离很长,同时我们会发现,实际上算法本身决定业务价值,最重要的是你的业务场景,也就是说你的业务用例、业务分析、需求定位和数据本身,就是你的数据质量好不好,然后还有你的工程能力,就是你能不能做出一个好用的软件,让用户去使用。这是这三者决定了智能应用、智能场景、数据产品价值的天花板,算法本身只是无穷趋近,毕竟天花板而已。所以这一点我觉得可以重点跟大家去强调一下算法本身,可能不像我们想象的那么玄乎,也没有那么的差异化或者那么重要,更重要的实际上就是你定位业务价值、识别业务场景、数据质量以及工程能力,现在我们很多企业对工程能力的疏忽,这是很大的问题,觉得说我找一个非常牛的咨询公司,然后找一个非常好的算法,然后开发的事情就恨不得交给刚刚从培训出来的码农做就好了。这是非常大的误区。因为工程能力是需求分析到业务设计,到拆卡,到把它变成可工作的高质量可信的软件,还有用户体验。所以如果你的软件最后不好用,用了动不动就出bug,你前面的算法再好都没有用,都不能产生业务价值。所以这一点我们也是重点跟大家去强调。
三、数据中台建设的挑战
那么通过这样两个项目的案例剖析,我们结合另外有几个比较有典型意义的智能项目,我们就会发现,企业做数据转型、数据中台建设的挑战,这里面数据类的项目有很大的差异点。当然前面我们所讲到的数字化转型的挑战,比如说组织结构、愿景一致,这些在这里就不重点去讲了,重点讲一讲数据类项目,也就是说数据中台建设的挑战是什么?
可以看一下,我们还做过的一个非常有意思的case,就是给一个金融企业银行做的智能审计平台,就是帮助企业的财务和审计的后台部门去构建数据中台、机器学习平台,能够让业务人员自服务,自动的预警,产生很多的数据的产品帮助智能审计,就是审计的提高效率。但是这个项目我们就发现了,和一般的应用项目有很大的区别。
1、 效果不确定,效果很难去100%保证。因为很多时候没有参照性,然后他的计划有时候也不确定,因为一个模型从达到60%的准确度,可能很快,但是要达到90%,可能周期10年都达到不了,这有很多不确定性,那么实际上就是成本和效果的平衡点的掌握。
2、 原来的这种审计的项目,很多时候都是人工的项目,人工分析,那如何变成一个可以自动化、自动构建的一个系统,而且自动的识别风险、预警、训练模型,变成一个自动化的软件生产线,这也是这种项目里面很大的一个挑战。所以这是智能审计项目当时给到我们的启发。
还有我们当时给国内一个大型的物流集团做的路径规划的这种项目,和刚才我们所讲的审计的项目也有类似性,它的特点是数据量大,结构非常复杂,输出结果难以实时衡量正确性。当时的场景就是做优化,比如说给到1000个订单,把订单做做优化,排出收发单的路径,那它是不是最优的?这里面有一个很重要的问题,就是如何去衡量这个模型是不是最优?如果你对结果的度量指标越多,模型越复杂,你又要成本低,又要用户满意度高,又要使用的交通运输工具要少、油耗要低,特征、结果要求越多,模型就越复杂,越复杂就越难构建。我们当时总结出来,模型的度量的结果要尽可能的少,只有这样的话,才能更快的去产生价值。而且这样的项目测试很难测,不像应用的项目,设计一个流程,有非常清晰的结果。他是包括数据版本的管理,这些都非常的复杂。当然这是我们可以去谈的另外一个话题,就是企业的智能类项目的这种管理。
然后下面的case就不详细去讲了,时间的关系,这是从一个专题分析到完全自动化的分析的过程。
所以我们最后总结一下就会发现,构建数据中台、数据驱动的智能企业、智能业务有三大挑战,都是跟数据相关,因为数据中台是将数据生产成价值的一个平台,数据的项目有什么样的特点?第一是流动性,数据本身是流动的。我们讲数据中台是数据服务加工的工厂,工厂的原材料是你不能控制的,这种情况下,它的流动性、不确定性、复杂性,这是非常重要的,它的三大挑战,流动性、不确定性和复杂性。
所以我们觉得真正要成为数据驱动的企业,要构建三个成功要素。第1个,找到业务价值,就是use case,非常重要。第2个,要正确使用数据,那就是我们传统讲的数据质量,因为数据质量决定了你最终的效果,但是不是一定要把企业的数据质量100%弄好,把数据治理得没有任何问题,才能启动数据的项目,才能启动数据中台的建设,这完全不是。第3个就是规模化复制,一定要让数据规模化的应用到你的生产当中,而不是说做一个数据应用、数据产品,就从头到尾从零开始去构建一遍,这个过程非常漫长。我们希望的数据驱动就像net flicks那样,它的数据API、数据服务是可以自动生成的,而不需要说为了去做一个优化模型,要去开发一个系统,整很长时间,这就是数据中台的价值,把那些可重用的东西整合在一起,然后可以让前台快速的、规模化的产生数据的价值。
这里我们就要重点的提到一点,那就是我们一定要正确认识到数据质量的问题。数据质量是客观存在的,我们一定要正确的认知这个问题。而且我们会发现数据质量这问题可能会越来越多。因为数据是静态的,它远远落后于业务变化的速度。真正什么样的情况下数据才不会存在数据质量的问题,那就是你的业务实时产生业务变化数据,物理世界和数字化世界的这个模型是实时联动,但短时间内很难做到。所以我们要正确认知数据质量的问题是客观存在的,但是要尽量规避这样的问题,就是说数据战略的重要性。
我们看一下数据质量是如何去产生的,这就是我们所讲的在经济体系里面提到的7种浪费,当我们一对比就会发现所有的数据质量的问题都能够一一对应到7种浪费,库存、过度生产运输、移动、等待、错误重复工作、工作量不足,所有的数据质量问题都能归因于这种7种生产和加工的浪费。
四、精益数据创新体系
所以这样的话,包括结合前面的业务场景、自动化处理数据,我们就会发现数据的问题和数据中台的建设,可以很好地匹配到一个理论体系,那就是精益数据体系。那么精益是怎么来的?这里我就不详细讲了,大家可以去自行去学习精益的历史,它是来自于精益生产、精益制造。
那么我们所讲的精益数据创新体系是什么?这是SARS原创提出来的,结合了精益思想、战略思维和 design thinking,四大体系,数据战略、数据中台的能力建设、数据和智能产品的应用的构成,和数据运营洞察,我们认为一个企业需要具备这四大能力,他才能成为数据驱动的智能企业。但如何具备这四大能力?那么我们认为精益的数据创新这样的一个方法论,是能帮助企业去构建这四大能力的。
那么我们来看一下,精益数据创新的4个重要的原则,这个原则能够完全对应到经济的体系。大家如果熟悉精益的就知道精益的4个原则,5个原则我们把它对应到4个。
第一业务场景和数据决定价值的天花板,算法是无穷趋近于这个值。然后我们要做数据中台、数据应用、数据创新。首先第1件事情,我们要去找到识别规划出整体的业务价值,就是说所有的数据和智能的创新都必须服务于产生业务价值。
第二要围绕业务价值构建mvp和Data pipeline,mvp是把业务价值通过数据探索,把它变成最小可用的产品去验证它的价值,验证完价值以后,我们要去看从数据源到数据产品的这样的一个流,如何把它构建成自动的,把这条从源头到产品中间的加工过程,所有的浪费全部消除掉。在消除浪费的过程,就是去减少数据质量问题的过程、不断优化业务流程的过程。所以这个是第2步就是flow、价值流。
第3个是,当你构建出这样的价值流以后,你就和你的用户之间形成了这样的一个flow,那么我们要减少库存,用户不要就不生产,按需生产。这个是pull而不是push。现在数据的项目,或者说现在很多的项目过度生产,比如说生产出非常多的报表放在那,然后客户上来想看就看,不想看它还在那摆着,我们存储了非常多的数据到数据湖里,但可能都没有怎么用,这个就是过度生产。在精益里面我们讲的是不要过度生产,你既然已经跟客户建立了连接,你把这个连接效率变得非常高、自动化。用户要的时候你再给他,这叫pull而不是push。用户拉动、需求拉动你再生产。
第4个是,你形成了闭环,用户也能拉动,最后是不断的去优化整个闭环。持续改进叫continuous improvement,在精益里面就叫perfection。所以这就是整个经济数据创新体系的4个原则。这里面包含4大类型的解决方案,数据战略、数据中台(数据平台和能力)、智能应用场景就是一个数据产品,最后是持续优化、改进,那就是数据运营。
我们的这样一套方法论和体系,实际上包括刚才讲到精益数据战略、中台经济数据、中台建设、数据产品,也就是说use case产生数据产品,包括数据运营。
首先我们来介绍一下数据战略的部分,数据战略大家想一想,我们在前面富国银行的case里面,数据战略包含哪些重要的内容,第一场景,用例use case,User journey用户的整个数据,使用数据的全景图、整个使用用户的蓝图,data的整个的blueprint,你要什么数据?未来需要什么数据,产生什么数据,存储什么数据,还有平台技术架构是什么样子?还有运营体系、组织结构、运营流程、绩效体系,团队能力的构建,这就是数据战略。通过构建数据战略,你才能清晰的把数据和你的业务战略结合在一起,然后把数据、建设数据中台作为抓手,去驱动你的数字化转型。
那么这里面我们用三个圈,这也是我们原创设计的模型,用三个圈来设计数据战略。这三个圈是什么东西呢?第1个圈,上面这个圈是业务场景,就是use case,业务价值。第2个圈是数据、数据蓝图。第3个圈是应用场景。我们想想刚才讲的第2个案例,第1件事情就是去构建数据的业务蓝图、业务场景;第2件事情是梳理整个的数据蓝图、数据的服务,再往下是数据、场景结合在一起,推导出我要用什么样的技术去处理这些平台、数据,最后构建一个运营体系,快速启动项目,这样的三个圈,场景、数据和应用,能构建出7个区域,就是数据战略先做什么后做什么,不同的企业是不一样的。我们的精益数据战略的咨询服务,就是帮助企业快速画出你的4个蓝图,业务蓝图、数据蓝图、技术蓝图和运营蓝图,同时规划出建设的路径。第1个I0建设的肯定是中心,又有场景,又有数据,又有价值,又有技术,那先做。这样的一个战略蓝图,规划演进路线是所有数据中台建设的第1步。
在数据中台的战略里面,实际上有一个很重要的东西,那就是精益数据治理,数据治理原来是个非常传统的服务,包括物理主数据的管理,就是原来数据治理项目的主要的工作内容。但是我在十几年前做数据治理,我发现一个很有意思的现象,就是很多时候数据治理很难落地,数据治理是一个项目,然后业务做业务的,数据做数据的,然后数据治理的项目一般来讲会产生一堆文档、一堆要求,然后给业务部门提需求,但是业务部门可能这个项目或者这几个月或者这一年能保持,到下一次可能就不行了,然后数据治理每年都做,重复去做,这就是现在的一个现状,发现一个很重要的本质上的认知,就是前面我们所讲的,我们要认知到企业的数据是越来越复杂,业务的变化、多元化,市场的变化带来的就是数字化世界里的数据越来越多维、多元化,不可能用一个标准统一管理起来,这是一个悖论,你把数据管理死了,你的业务也就不变化、不再创新。如何去做数据治理、如何让数据对业务产生价值,同样是精益的思路给到我们非常大的启发,价值驱动、围绕场景、减少浪费、持续改进。这里就不详细讲了。
我这里面给精益数据治理做了一个定义,将精益思想应用到企业数据治理中,用最小的浪费构建适合该组织持续改进的数据治理体系,目标是最大化利用企业数据,自动按需、持续的创造出客户价值。最后这句话很重要,我们要时刻记住数据治理的目的不是说要产生一个规范的100%一致的数据,这是过程、工具。数据治理最本质的目的是为企业利用好数据持续的产生、创造客户价值。
我们来看一下怎么做呢?这里面有详细的方法,不同企业的方法,可能都会有一些调整。这里我画了两张图来解释数据治理该怎么做?精益数据怎么做?第1个图是我们传统的数据治理项目,一般来讲首先是调研业务需求,这是一种,有的可能都不调研业务需求,纯粹从数据的视角出发,做整个企业的数据标准,标准做得很细,第1层、第2层、第3层、第4层,有的细到字段层级,这样的数据治理带来的问题就是它跟业务场景距离比较远,本来就是离业务比较远,因为它是个顶层设计,希望用一套标准管理整个企业的数据,坦率讲现在是很难做到的,可能有一些主数据、一些很少量的静态的数据可以这么做。但是现在有什么是静态的呢?那种传统的数据治理项目也是交付报告和标准流程,大而全,响应慢,管控大于服务,数据治理是一个管理部门,所以原来叫数据管理部,当然现在我们会发现,招行、光大这样的企业把数据管理部门做了调整,把它叫数据资产和创新部,产生价值。
我们看一下所讲的精益数据治理怎么做?下图是我画的有点丑,但还是能够体现一些思想的。原来上一页图是从下往上做,然后一层一层的构建数据标准,把所有的业务场景都拉通,我们精益数据治理怎么做?第一,我们还是要整体的了解业务需求,在这基础之上,因为我们一定还是要有一个整体层面的设计,但是整体层面设计不会设计那么细,原来做4层,但现在可能只做两层,这个标准做得粗一点,颗粒度粗一点,粗一点就意味着灵活度会大一点。在这基础之上,找一个业务场景非常重要,数据治理围绕场景去做,找一个业务场景去验证前面做的这两层的标准,同时在业务场景里面把它跑通,把3层4层累计到计算机的数据构建出来,标准构建出来。在这过程当中,因为它真正的关联到了业务场景,治理出来的数据会被应用所用到,就会获得很多的反馈,反馈就会回到数据治理的项目组,就能够去优化原来设计的框架,用这种方式轻标准、重价值,选择典型的场景需求做验证,反馈迭代,形成闭环,持续改进,快速支持业务价值的产生,用这样一种方式去构建数据治理的体系。而且数据治理我们认为它像产品是眼镜一样,是一个演进式的治理,不是一次性的治理,所以这是我们所讲的经济数据治理时代的到来。
精益数据中台和精益数据产品交付,时间的关系我就不详细讲了。
这里我们重点把数据智能产品的生命周期快速介绍一下。这就可以把我们前面讲的内容全部串起来,一开始我们是lean data Discovery,轻的数据战略、精益数据战略的项目或者服务,能够在企业通过Discovery去规划你的场景蓝图、数据蓝图和技术平台的蓝图,并且排出优先级,很重要。在优先级基础之上快速的做inception,把场景和数据平台,通过短平快的精益方式的产品设计,把它形成一个可以被开发人员理解的mvp的设计,然后就进入到这种敏捷开发的过程,研发、设计、产品、运营、演进,这就形成了一个闭环。这是一个数据智能产品的生命周期,也是我们的工作方法。
最后我们来回头总结一下,数据驱动的三大成功因素,对应到前面讲的数据驱动的三大挑战,第1个是要定位到正确的场景,也就是精益的思想里面的 customer value,正定位到正确的场景。第2个是从大数据到精益数据,不要试图去设想说要构建一个企业级的放之四海皆准的数据标准,不要试图去等所有的数据都治理好了,都没有问题的,再启动数据创新、数据价值的建设。我们要做的是从大数据到精益数据,到那些能产生价值的数据就是好数据。第3个是从PPT到闭环的产品,让数据自动化产生价值。原来我们做很多数据运营数据的项目都是启动一个项目,找一批人,找一个办公室,在那里工作一两个月,然后治理出一些数据,在数据当中发现一些场景,把这些场景形成一个报告,报告去帮助领导们做决策、产生价值。但我们希望在未来这样的过程变成自动化,在数据中台上,自动化的模型,时时能够产生这样的过程,从项目制变成闭环的产品。
所以这就是我们提出来的经济数据创新体系, value stream变成flow,然后 pull而不是push,最后perfection,那就是数据要服务于客户价值,形成数据产品流,消除浪费、按需生产、持续改进。
那么当我们用精益数据创新体系去构建企业的数据中台、打造数据驱动的智能企业的时候,一般来讲会经过三个阶段,第1个阶段,那就是找到业务价值,把数据用起来;第2个阶段,用起来以后,通过技术平台、自动化的CDCI,让数据能够自动化跑起来,实时提供给你的用户,最后形成一个闭环,让增量的数据投入到原来的模型当中,去优化你的模型,自动自优化、自学习形成让数据转起来,形成闭环perfection,形成闭环的价值流。
我画了这样一个图,用起来、跑起来、转起来。找到业务价值点,将数据加工成形成洞察/模型/分析结果在业务中使用起来,也许后台都没有数据平台,就像我们刚才讲的第1个case那样,那里面有的后台部门或者是公司没有系统,把订单拿过来的时候,要手工去操作,但不重要,只要把数据用起来了,那就是好的。先用起来找到价值用,第二阶段再考虑说构建平台让他跑起来的事情,自动化跑起来,最后通过增量数据学习,优化原来的模型,形成自学习的体系,形成闭环,转起来。所以我们讲企业数据利用的三个阶段,也是企业数据中台构建的三个阶段。当然我们后面还有一个数据中台建设的成熟度模型,这里就没有放出来了。这里就用起来,跑起来和转起来。
我们再回顾一下,数据和智能应用到企业产生业务价值的底层逻辑,最重要的几个点,对业务有价值、能够应用于生产、规模化的复制、高效低成本。刚才那三个圈,一场景、二数据、三技术和四运营,这就是精益数据创新体系最精髓、最重要的三个圈。
这三个圈我们可以把它进行分解。数据平台如何建设?从哪里开始?
首先梳理分析,先看有没有场景?有场景,围绕场景去建设,再看有没有数据,是有源系统的数据,还是数据仓库,有场景需要有数据,再看技术平台怎么去构建,如果有数据仓库,可能构建的过程会快一点,一定要复用原来的asset,如果没有数据仓库,新的数据中台怎么去构建?最后运营,包括组织结构、运营体系,4个蓝图,场景、数据、技术、和运营。
精益数据创新体系,在数据战略里面,我们有这样的一个轻量级的咨询服务。我们现在行业里所倡导的,不要去做那些特别重的it的规划,超过三个月或者半年以上的,这样它的这个过程比较长,响应变化的速度比较慢,我们希望它更多的是一种定位一个清晰的目标,然后快速迭代。这里的过程我就不详细讲了,这是我们有一套完整的成体系的方法论帮助咨询服务,帮助企业去做数据战略、数字化转型的规划。第1件事情是探索场景,第2件事情是分析场景、分析场景的价值、排优先级,第3件事情做整体的规划,第4件事情启动交付、mvp交付、数据价值探索的交付、整个数据中台的交付,实际上会发现,第1件事情很重要,那就是找到场景,但是我们也很清晰的发现,在企业里面探索出数据场景,这个环节最大的阻力来自于业务、技术、数据,三个圈的不拉通,我们还回到这三个圈,很多企业这三个圈没有交集,业务不懂数据,数据不懂技术,更多的可能是业务和技术数据都不了解,这三个圈中间没有交集,那怎么建设呢?如何让业务的人员理解数据,让数据的人员理解业务,这个很重要。而且我们会发现原来传统的那种规划、调研、咨询的方法,不怎么有价值。举个例子,我们原来用传统的调研的方法做问卷,实际上现在我们会发现它很难激发业务人员对于数据、场景的头脑风暴,很多时候限制了业务的发散,所得到的场景,只是他经验里面认为的场景,产生不了创新。这里面很大的一个问题是业务不懂技术,好像一个农民他不知道有无人机这样技术的时候,他是不敢提出来说,我要在天上撒农药,他想不出来的,绝对不可能。所以我们讲在这样的一个场景下,这样的一个精益数据创新的体系、经济数据探索规划的事情,第1件事情就是 in parliament赋能,数据和智能的培训,要让业务的人员理解,数据、技术给他的价值,理解包括两个方面的洞察或者结果,一个是不要让它产生过大的期望,认为数据和人工智能就是魔法什么都能干。第二不要去忽视、抵抗这样的趋势。
如何去连接技术、业务和数据?我们在过去设计了一套这样的卡牌,扫码大家可以看视频,是我们这两年在国内做了,包括现在在全球也在做,我们设计了像卡罗牌一样的扑克牌,然后扑克牌分为几种卡片,愿景卡、数据卡、业务价值卡、场景卡和工具卡。工具卡就是把常用的一些算法和 use case都是设计在里面,然后要让业务人员、数据人员和技术人员在一起去玩这个工作坊。通过游戏互动的方式,让他们互相增进了解,消除技术、数据和业务的鸿沟,拉通数据技术业务的知识,然后发散出特别多的场景,大家达成共同的优先级排序的方法,最后识别完成业务场景蓝图、数据蓝图和技术平台蓝图的设计。这个工作坊非常有意思,大家可以看到视频里面以前参加过的学员们的反馈。
五、问答环节
Q:数据价值如何衡量?
A:数据价值的衡量有几种方式,一种方式是成本法,第2种方式是效益法。现在我们更多的是用第2种方式去衡量,效益法里面很重要的有两类,一类是数据产品直接产生的价值,带来了多少的pv,增加了多少的用户,带来多少流量?节省了多少成本?还有一类是可能数据是被业务部门所使用的,被业务应用所访问的,它的价值是有多少用户访问、使用了这个数据,这就是它的价值。未来的数据价值的度量,就像我们现在交易股票一样,调用一次API多少钱?这就是价值的度量。当然数据服务的收费模式有很多种,按流量、调用次数,成本收入的百分比去分配,这就是商业模式了。但是总体来讲,数据价值的衡量就是根据数据产生的价值进行衡量。
Q:有了客户数据中台,那么传统的CRM系统如何定位?
A:我这里简单回答一下,把我的想法跟大家交流。传统的CRM是用户主数据,企业内部的用户局部数据的存储和管理,客户数据中台是包含了第三方的数据,用户的数据、销售的数据、市场的数据整合在一起的一个用户的360度全貌的数据,那么CRM有可能是客户数据平台的数据源。
问卷
为了给广大开发者提供最实用、最热门前沿、最干货的视频教程,请让我们听到你的需要,感谢您的时间!点击填写 问卷
腾讯云大学是腾讯云旗下面向云生态用户的一站式学习成长平台。腾讯云大学大咖分享每周邀请内部技术大咖,为你提供免费、专业、行业最新技术动态分享。