数据仓库、大数据平台、数据中台演进之路

随着数据中台越来越火,很多企业纷纷建起了自己的数据中台,数据中台一下子火爆起来,很多人就会存在疑问,数据中台到底是如何兴起的?

数据中台演进的四个阶段:数据库阶段(OLTP联机事务处理)、数据仓库阶段(OLAP联机分析处理)、大数据平台阶段、数据中台阶段。

数据仓库

        是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。从数据角度,数据仓库更适合传统的数据库,离线采集,数据一般为结构化的,每天处理数据量不易超过TB集,数据仓库一般在数十T到几百T以内,数据仓库一般为满足内生的应用,满足内部决策支持分析需求。

缺点:海量数据存储计算存在瓶颈,无法支撑非结构化数据、实时数据计算;硬件设备成本也过高。

大数据平台

        实现了企业数据模型的构建,包括统一的数据采集中心、数据计算和存储中心、数据治理中心、运维管控中心、开放共享中心和应用中心等组件。

优点:节约硬件投资降低成本;解决了海量数据、实时数据的计算和存储。

缺点:数据应用问题,不同表之间的数据一致性和口径也会不同,而且不同的表不同的字段对数据安全要求级别也不同,此外还要考虑多租户的资源安全管理,如何让内部开发者快速获取所需的数据资产目录,如何阅读相关数据的来龙去脉,如何快速的实现开发,这些在大数据平台建设初期没有考虑周全;另外一个问题是对外应用,随着大数据平台的应用建设,每一个对外应用都采用单一的数据库加单一应用建设模式,独立考虑网络安全、数据安全、共享安全,逐渐又走向了烟囱似的开发道路。

数据中台

        数据中台解决数据安全的、快速的、最小权限的、且能够溯源的被探测和快速应用的问题。

        数据中台不应该被过度的承载平台的计算、存储、加工任务,而是应该放在解决企业逻辑模型的搭建和存储、数据标准的建立、数据目录的梳理、数据安全的界定、数据资产的开放,知识图谱的构建,通过一系列工具、组织、流程、规范,实现数据前台和后台的连接,突破数据局限,为企业提供更灵活、高效、低成本的数据分析挖掘服务,避免企业为满足具体某部门某种数据分析需求而投放大量高成本、重复性的数据开发成本。

        厚平台,大中台,小前台,没有基础厚实笨重的大数据平台,是不可能构建数据能力强大、功能强大的数据中台的。没有大数据中台,要迅速搭建小快灵的小前台也只是理想化的。

 关注公众号,发送 jddsj免费下载《京东大数据技术白皮书》pdf。

数据仓库、大数据平台、数据中台演进之路_第1张图片

你可能感兴趣的:(架构方案杂谈,大数据,数据中台)