大数据、数据中台都是商业智能BI发展到一定阶段的产物,核心都是围绕数据,数据采集、数据处理能力、算力的提升催生了大数据,数据资产和数据服务催生了数据中台,核心的数仓建模自商业智能BI一脉相承未曾改变,最终出口还是商业智能BI可视化。
首先吐槽一下商业智能BI,商业智能BI这个名字一直都没有取好,还有像数据仓库,这些名词非常的没有想象力空间,很不直观。也是经过这么多年各个商业智能BI同行的共同努力才把可视化和商业智能BI紧密的挂钩了,一讲到商业智能BI就是可视化,一讲到可视化就是商业智能BI,非常的不容易。
虽然这样理解并不全面,但至少也算是有一个标签,让商业智能容易了解。
商业智能BI - 派可数据商业智能BI可视化分析平台
2013年大数据的概念逐步在国内开始火起来,央视也在天天宣传,大数据的概念一度也非常的火热。大数据开始抢我们商业智能BI的饭碗了,这个词一出来就火了。火到什么程度?我回老家,一个三四线的小县城,朋友问我在北京忙啥,我说我在做商业智能BI的,摇头不懂。我说商业智能BI啊,做可视化分析、经营决策分析、出报表的。哦,会计,瞬间崩溃。
大数据 - 派可数据商业智能BI可视化分析平台
还好我聪明,也就不再去解释商业智能BI,我说大数据你总归懂吧!哦!你是做大数据的啊,懂了懂了。我心里想:我信你个鬼!
大家看到没,相比商业智能BI,大数据这个词很直观,很容易让人接受。
到现在中台这两个字,也比较直观。不管什么架构,中间搭个台子,稳稳当当,承上启下。到了商业智能BI,字面上就看不懂了,怎么个智能法,不太好解释。数据仓库,更是不懂,可能就是一个装数据的大仓库吧。
所以商业智能BI就感觉自己很憋屈,好不容易熬过大数据,刚刚舒服了一点,数据中台又出来了。
其实从产品和技术架构的角度,商业智能BI和大数据,商业智能BI和数据中台是并不冲突的,也是完全可以互补的, 他们各自使用的场景和解决的问题并不一样。
可视化大屏 - 派可数据商业智能BI可视化分析平台
怕的就是企业花着大数据、数据中台的钱,干的却是商业智能BI的活。明明就是一个商业智能BI项目就可以解决的问题,硬生生的给自己套个中台。企业自身的信息化水平可能就是一条石头路,本来跑个汽车就可以了,非要弄条高铁在上面跑,是跑不起来的。
我大概来说一下商业智能BI、大数据、数据中台他们彼此之间的逻辑关联关系。
先从商业智能BI来说,完整的商业智能BI解决方案就包括了底层的数据仓库、ETL和前端的可视化报表,底层数据仓库负责建模,ETL用来组织填充这些模型数据,这些模型数据供前端使用于是可视化报表就呈现了。ETL的调度通常是T+1,每天晚上同步一次,并且大部分情况下是处理结构化的数据。
商业智能BI - 派可数据商业智能BI可视化分析平台
后来,因为数据量太大了,每天的数据处理要到几百GB、TB级别的数据,并且越来越多的非结构化的数据。这个时候商业智能BI的ETL就无力解决这些问题了。还有越来越多的实时数据采集要求,商业智能BI的传统数据仓库就扛不住了。于是大数据就来了,多节点并行处理各种结构化、非结构化的数据,各种离线的、实时的数据。
数据仓库 - 派可数据商业智能BI可视化分析平台
商业智能BI的传统关系型数据仓库就变成了大数据架构下的数据仓库,商业智能BI的前端可视化还是那个可视化,没有变。并且大数据还是做了同样的一件事情,就是:不管是大数据、还是小数据,都是把非结构化不可分析的、结构化不可分析的,变成结构化可分析的数据支撑到商业智能BI来使用。
商业智能BI和大数据之后,现在又引发了新的几个问题,数据越来越庞大,动辄几十个业务系统、上百个系统,数据标准越发混乱了、越来越不统一了,于是就想着是不是得做下数据盘点,把数据当作资产一样来进行管理。
比如数据的分类、打标签,元数据管理、数据血缘、数据追溯,形成标准的分门别类的数据资产。这些数字资产、数据标准不仅仅是为商业智能BI中数据仓库提供服务的,更多的是要对外提供服务,一种数据的服务,这就是数据服务。
商业智能BI - 派可数据商业智能BI可视化分析平台
比如用户画像、精准营销。以往商业智能BI数据仓库做完清洗,数据推到前端可视化分析做展现就结束了。现在在数据中台中就不是这样了,这些用户画像数据是可以封装起来对外推送,提供给第三方的应用,比如数据营销、个性化推荐等等。是把中台的数据赋予了对外服务的属性。
同时,业务系统与业务系统之间的数据交换,各个底层的交换协议、传输协议、安全协议可能各不相同,那么在数据中台中就可以通过数据服务进行系统之间数据交换的工作。推给第三方应用、数据交换都是数据服务的一种形式,对外支持商业智能BI分析应用,算不算是数据服务的一种,也算,商业智能BI从数据中台调用需要分析的模型数据进行可视化分析展现。
所以,传统的商业智能BI在遇到大数据量、非结构化数据处理的场景,底层的数据仓库就升级为大数据的数据仓库架构,这就是大数据下的商业智能BI分析;在大数据的数据仓库架构基础之上,往左边更加拓展了数据的采集能力,在中间除了原有大数据架构的数据仓库建模之外,更加加入了数据资产的概念、数据资产盘点、数据资产管理,靠右扩展了数据服务的能力,将数据中台中按照一定规则处理好的数据打包对外提供服务。因此,大数据架构下的数据采集、数据仓库建模、数据资产管理和数据服务就构成了数据中台的几大核心。
数据可视化 - 派可数据商业智能BI可视化分析平台
数据中台的底子是大数据架构,数据仓库是传统商业智能BI数据仓库的大数据升级,而商业智能BI就变成了数据中台之上的应用层,利用中台的数据服务获取数据做分析展现。
这就是商业智能BI、大数据、数据中台这三者的关系和在不同数据场景、服务场景下的演变过程,看明白了这个过程,应该就不会再轻易的混淆他们的概念。至于商业智能BI、大数据、数据中台应该选择哪个。其实说到底如何选择合适的技术路线、技术架构,最终还是取决于企业自身到底要解决什么,不能盲目选择。盲目选择的结果就是大投入,小产出没有达到预期的期望。我们还是应该聚焦到需求本身,需求为王。
如果对商业智能BI、大数据、数据中台等内容感兴趣,欢迎关注作者,每天会持续更新干货文章。