【大数据架构】浅谈数据中台

数据中台背景

大环境背景
近几年较火的数字化转型,很多企业也从信息化到数字化。
信息化时代:是信息化为物理世界活动服务的;更多的是为物理世界活动提升效率。例如我们现在很多系统其实也是信息化,例如OA系统、政府线上办理平台、医疗平台等等。
数字化时代:物理世界的物在为数字世界服务,同时数字实际也在服务物理世界,形成闭环。例如我们获取了业务数据进行分析后,智能推荐又服务于物理世界,形成闭环。
数字化是信息化的升级版,在为物理世界赋能的同时,自己能通过物理世界产生的数据,经过处理后,产生新的价值。这个过程是物理世界为数字实际赋能;之后产生新的价值后又赋能给物理世界,不断循环,形成一个闭环。他的高级感更多的是能通过这种形式创造新的价值,产生新的业务等等。能让原来没什么价值的数据产生更大的价值。

【大数据架构】浅谈数据中台_第1张图片


数字化转型带来的技术与业务深度融合,可能会诞生新的商业模式和业务架构体系。

【大数据架构】浅谈数据中台_第2张图片


那么在这个大环境下核心就是数据,如何对数据进行管理以及利用,最终发挥其价值。是每个企业在数字化转型中必须会面对的一个问题。当前企业在转型过程中又会遇到什么痛点呢?从痛点就能衍生出为什么企业要进行数据中台的搭建,为什么要做数据管理
数据中台背景
1.互联网企业面临则数据孤岛的问题,导致其数据价值没有真正的被挖掘出来。
2.企业内部业务间数据不互通,导致很多数据拿不到,重复开发等问题。
3.互联网企业越来越看重增效降本,提升效率,降低成本;越来越多的企业开始走精细化运营的道路。
4.互联网行业各个能做的点都已经形成了红海,企业寻求突破想孵化出一个新的商业模式和业务架构(探索新模式)
(说白了就是,企业现在有很多数据,那么如何让这些数据用起来,体现他们的价值,来为业务赋能呢?这个时候就要搭建数据中台)

数据中台的定义
数据中台是将企业数据资源转化为数据资产,再利用数据资产为业务创造价值,最终实现数据资产价值变现的解决方案或者说是一种机制。
数据中台不是技术也不是产品,而是一套“可持续让数据用起来”的机制。他依赖于企业现有的业务模式和组织架构,通过数据中台的机制,去对企业进行改变,会改变企业的业务模式和组织架构。

【大数据架构】浅谈数据中台_第3张图片


数据中台的价值:打破数据孤岛,将无用的数据,转化为数据资产,助力业务创新创造价值,为企业提供降本增效,精细化运营的能力。

数据中台建设要点
数据中台建设痛点:
1.数据口径不一致,不同指标可能不同业务对其的定义不一,导致口径不一,难以管理。
2,.数据质量可靠性差,数据链路不透明,不知道该数据的质量靠不靠谱,当前很多数据链路有问题不规范,也会导致数据治理可靠性有问题。
3.数据接入成本高,使用门槛高,大数据开发操作门槛高。学习成本、使用成本都高。
4.资源消耗浪费严重,在大数据开发过程中,可能由于选用的组件,并不是最适合的,导致资源浪费
5.数据资产管理混乱,各个业务各自做各自的大数据开发,导致数据资产没有统一管理,导致管理混乱
6.数据业务打通难,上面说到企业发展的趋势是场景融合,那么如何打通2个业务间的数据是一个很大的课题

中台又要如何解决这些问题?
1.打造一站式数据开发平台,降低数据接入门槛和成本
2.建立统一的元数据管理中心,通过对元数据进行管理,了解全链路的处理过程,对数据资产进行管理
3.提供数据服务的能力,降低业务使用门槛,数据开发的事情交给专业人员,业务方只需要使用封装后的接口即可
4.建立覆盖全生命周期的数据治理体系,对数据资产进行管理,进行数据标准化建设;保证数据的稳定性和准确性,提升资源利用率
5.制定数据生产、采集标准;从源头规范数据格式,有利于后续管理
6.搭建数据湖、数仓、周边体系,拓展数据中台能力
7.推动从平台化变成自动化的演进

数据中台架构
大数据产品架构

【大数据架构】浅谈数据中台_第4张图片


简单介绍下分为几个模块
1.数据开发运维:是大数据处理的技术底座,分为数据集成、数据存储、数据计算、任务调度、运维模块。对应数据的采集-开发-存储-维护。该模块偏技术,底层一般都是引用开源组件进行支持,包括我们熟悉的hadoop组件,hive、hbase、hdfs、kafka、pulsar、flink、spark、clickhouse、presto、iceberg、hudi等等。
2.数据管理:主要是对数据进行治理,包括数据标准、数据模型、数据质量、数据资产管理、数据安全、元数据管理、数据成本治理、数据血缘等。在该模块将数据进行梳理,形成分类清晰,可管理,可理解的数据资产。方便后续应用
3.统一数据服务:指的是对外提供服务,包括数据共享、数据服务、OLAP即系分析。对外提供数据的支持。
4.数据应用:基于数据中台,对外封装成各自类型的应用去服务于业务,包括用户画像、DMP、BI、标签系统、埋点系统、UBS、指标系统、机器学习。

*以上是自己在平时学习和工作中实践时的总结,有的内容是从其他文章汇总转摘过来的,若侵权了,麻烦联系下我,我进行修改~

你可能感兴趣的:(大数据,架构,人工智能,数据仓库)