这种思想上的默契,在2019年被彻底打破了。来搅局的,正是耳熟能详、方兴未艾的“数据中台”。
于是,朋友们就开始思考中台到底比平台先进在哪里,一定要给出个说法,目前有两个常见的观点:
万能分层轮:数据中台在数据平台的上一层,数据平台提供基础设施,数据中台与业务对接。
阴谋论:数据中台是新瓶装旧酒,数据中台就是穿了马甲的数据平台。正如,数据挖掘、机器学习、AI的这三兄弟,其实都是一码事。
这些解释还算很差强人意,但听半天却也没有什么心得和收获。有的解释变成了名次的循环解释和文字游戏,更有甚者,开始从"平"字和“中”字上做文章,一定要找出点差别来,这就不多说了...
我们不妨把眼光放的更长远一些,数据仓库、数据平台、数据中台的迭次出现,本身就形成了一部大数据发展史。
数据仓库是90年代在BI(商业智能)的时代背景下的一个产物,主要目标就是为了支持数据分析,因此报表或OLAP工具都是BI/数仓的标配。为了更好的支持数据分析,就需要一种有效的手段去组织数据,即数据仓库建模方法论。
点一下KimBall、Inmon两位大神的名字,不熟悉的朋友可以搜索下,你会收获很多。
2010年前后,随着互联网的兴起,人们对数据分析的诉求越来越多,与数据相关的系统越来越复杂,主要体现在:
数据源种类越来越多,除了传统数据库,NoSQL库、图库、日志、半格式化数据广泛出现在业务系统中。收集这些系统中的数据,本身就面临种种挑战
数据需要进行的预处理逐渐增多,与这些预处理任务相关的脚本的执行和任务编排/调度变得越来越复杂
数据分析系统越来越多样,如数据导出到NoSQL库、图库、甚至缓存,数据在仓库和这些系统之间的流转越来越复杂,甚至只有少数的数仓专家能胜任。
人们发现,急需一套完整的系统,从异构源数据的采集、数据ETL代码开发与管理、任务调度、监控、数据同步等等方方面面的功能、或模块有机的整合起来,最好能够无缝对接,从而降低数据加工处理的复杂性。
这一套应运而生的、有机整合的工具链系统就是数据平台。
可以这么说,在数据仓库阶段,人们已经认识到了大数据的价值,并从数据建设的角度出发,完成了数据归集和整理。所以我认为数据仓库时代,就是大数据资产化的时代。
数据平台,从工具链的角度,整合了零散的各种数据工具,进一步降低了数据的使用门槛。数据平台就是数据工具的平台化时代。
数据仓库以数据为目标、数据平台以工具为目标这种格局持续到2018年。
2018年前后,互联网企业逐渐寡头化、流量红利见顶之后,各大阵营开始从粗放的流量运营向精细化的用户运营转变。
随着对数据需求的加大和加深,如:阿里的全域营销,需要能够横向看到优酷、天猫、淘宝、虾米等各业务线的数据。
此时,才发现之前按照部门、或业务线分别建设的数据仓库其实是一个个的数据孤岛,由于缺乏驱动力,数据并没有融通。
数据和系统建设需要以业务场景为驱动,改变原有的纯数据视角或纯工具视角,支持业务才是最终目标,因此业务就变成了前台,数据与工具建设就变成了背后的中台。
这个变化乍一看变化不大, 事实上数据中台对现有架构的改变,比想象中要大很多:
数据建设需要从业务视角出发,要打破烟囱,也会打破原来的利益格局
原来把工具做好,等人上门来用就好了。现在不行了,业务方要的是数据服务,中台需要更向前一步,把数据服务做好,并且还要考虑复用性。
但是跟业务方贴的太紧了呢,跟业务系统怎么分,如何做到可以支持多业务,这里面的分寸该怎么拿捏?
因此,数据中台是以业务为导向和目标的,但又要足够抽象、以便能尽可能支持更多的场景和业务。
从数据角度来说,数据中台需要做到全局打破烟囱、统一建设、有机融合;从系统角度来说,数据中台需要在各个环节减少不必要的阻塞和"协同",允许用户自助式的通过数据服务获取和使用数据。
那是不是说数据中台就比数据平台更有优势、更优秀呢?其实不能这么看,他们所处的历史时期和使命不同。
这个历史时期需要跟你所在企业的相匹配,才能做出正确的选择。如果跨越阶段,大干快上搞中台,费时费力不说,还可能成为笑柄,如:
搞中台的不知道业务目标、业务在野蛮增长阶段,好像对大数据也没有那么强烈的诉求,你说这事能不烂尾么....万万不可东施效颦。
既然都已经是中台时代了,是不是我的数据系统天生就是数据中台了,就好像在64位机时代,闭着眼选的CPU也不会是32位一样?
也不能这么看,根据之前的探讨,数据仓库和数据平台有它的历史使命,即使你的目标就是建数据中台,数据仓库不还是要建设的么,数据仓库和数据平台都是数据中台的基础,他们是以一种新的形态和理念呈现在数据中台中的。
从马克思政治经济学的角度,根据生产关系的性质,人类社会可以划分为原始社会、奴隶社会、封建社会、资本主义、共产主义等。
大数据和业务之间的关系,大致也可以有这个类比,大数据从可有可无、锦上添花、到雪中送炭的认知升级,就是这个关系演变的体现,我们甚至可以推测一下数据中台之后的一个历史阶段,大数据和业务会是个怎么样的关系。
关于这一点,请继续关注居士的文章:)
热门文章
直戳泪点!数据从业者权威嘲讽指南!
数据分析师做成了提数工程师,该如何破局?
全栈型VS专精型,团队到底需要什么样的人?
数据驱动业务,比技术更重要的是思维的转变
最近面了十多个数据分析师,聊一聊我发现的一些问题