收藏:不错的数据中台建设方法论

收藏:不错的数据中台建设方法论_第1张图片

数据中台建设方法论体系,需要从组织、保障、准则、内容、步骤5个层面全面考虑,以确保数据中台建设和实施能如期完成。

  • 1种战略行动,把用数据中台驱动业务发展定位为企业级战略,全局谋划

  • 2项保障条件,通过宣贯统一组织间的数据认知,通过流程加速组织变革

  • 3条目标准则,将数据的可见、可用、可运营3个核心准则始终贯穿与中台建设的全过程,保证建设始终位于正确的轨道上

  • 4套建设内容,通过技术体系、数据体系、服务体系、运营体系建设保证中台建设的全面性和可持续性

  • 5个关键步骤,通过理现状、立架构、建资产、用数据、做运营5个关键行动控制众泰建设关键节点的质量

一、1种战略行动

数据中台要求整个企业共用一个数据技术平台、共建数据体系、共享数据服务能力。

  • 现实中企业业务发展不均衡、各种部门墙导致共建和共享非常困难。

  • 数据中台不仅是对技术架构的改变,还是对整个企业业务运转模式的改变,需要企业在组织架构和资源方面给予支持,所以中台是一个企业的战略行动,而非一个项目组成或者一个小团队就能做到。

  • 数据中台牵涉企业的方方面面,要了解整个企业的业务情况、进行业务梳理,还要有技术的支撑、组织的支撑,否则很难推动落实。

数据中台的目标是实现企业经营的数据化、精细化、智能化,本质是建设一套可持续让企业数据用起来的的机制,需要有相应的组织、制度、流程、资源的保障。

二、2种保障条件

数据中台是企业级战略,支撑企业数字化转型,涉及企业的方方面面,数据中台战略的执行必然伴随着企业组织保障以及整个企业数据意识的提升。

首先,中台战略的实施需要有组织保障。

  • 与组织对应的是资源与责任,数据中台由谁来建、谁来维护、谁来经营、业务需求怎么承接、效果怎么衡量等问题,这已经超出了IT的范畴,需要企业更高层面对应的组织来保障

  • 企业实施数据中台战略,必须首先建立起数据中台团队,让他们负责中台的建设、维护、运营以及业务的承接和中台服务的推广

  • 有了中台后,企业的运转模式发生了变化,业务、后台、管理等团队也需要有对应的组织人员与中台团队对接

收藏:不错的数据中台建设方法论_第2张图片

其次,中台战略的实施需要提升全企业的数据意识。 数据文化是数据中台战略不可或缺的部分,数据中台的推进依赖于数据文化的建立,反过来,企业数据文化的沉淀又是数据中台建设的产出。一句话概括数据文化:用数据说话。

可以从以下方面来提升数据意识:

  • 数据采集意识

  • 数据标准化意识

  • 数据使用意识

  • 数据安全意识

三、3项目标准则

数据中台的3项目标准则——可见、可用、可运营,不仅可作为企业在数据中台建设中的具体建设指引,也可用来客观评估目前建设内容的完整度。

评估项

评估细项

评估细项描述

数据可见

指标管理的可视化

是否已经具备统一的指标管理能力,如指标的定义、修改、删除和生命周期管理等

元数据管理的可视化

是否已经具备针对元数据(表、字段、分区、任务和标签等)的可视化管理工具

数据资产类目可视化

是否已经具备资产的可视化类目管理,可自由增删改查类目结构和类目下的标签名称或者指标名称

数据源的可视化

是否已经具备对中台所涉及的所有业务数据源的可视化管理,可自由增删

数据集成的可视化

是否已经具备对业务数据到数据中台的批量或者实时集成的可视化操作能力

数据ETL的可视化

是否已经具备对数据处理ETL的可视化开发与发布能力

数据建模的可视化

是否已经具备对数据建模的可视化管理能力,如批量生成指标、模型标准管理等

数据消费者的可视化

是否已经具备数据消费方统一的管理,包括权限、限速、并发、高可用等

算法建模的可视化

是否已经具备可拖拽式可视化的建模方式

数据可用

数据内容的可用性

数据内容是无歧义,符合业务所需要的标准和质量需求

数据服务的可用性

是否已经具备数据服务的快速生成,可通过可视化的形式完成

数据任务的可用性

是否已经具备数据任务的运维能力,可自动重跑、补数、空跑、自动调整任务资源配比等

数据的指标化

是否已经把数据定义为指标,企业的日常经营分析依赖于各类BI报表和可视化大屏

数据的标签化

是否已经把数据定义为标签,标签来源于原始字段、统计类加工后的字段和算法类加工后的字段,企业的数据应用依赖于各类标签体系

资产(指标或者标签)的易阅读性

对于业务人员来说,资产和资产类目是否看得懂,易查找

数据可运营

质量量化管理

是否已经可以通过任务失败次数、产出时间稳定性、标签覆盖率等构建质量量化模型,数据研发团队日常已根据分值优化管理

价值量化管理

是否已经可以通过任务资源占用情况、表生命周期和最近访问周期等构建价值量化模型,数据研发团队日常已根据分值进行优化管理

数据运营角色

是否已经配有针对数据本身的运营角色和岗位,该角色通过围绕核心KPI进行数据的质量优化和价值挖掘

四、4套建设内容

建设内容是数据中台建设的核心,是可呈现的产出物,也是数据中台的价值所在,前面的战略措施、保障条件、目标准则都是为了建设内容能够顺利产出并且可以持续发挥价值。

数据中台的建设内容包含技术体系、数据体系、服务体系、运营体系四大体系,通过这四套体系的建设实现数据中台让数据持续用起来的目标。

1. 技术体系

技术体系分两个层面:

  • 大数据存储计算技术组件,比如Hadoop、Spark、Flink等,相对标准化,企业只需要进行合理选型,不需要自己建设,建设难度也很大

  • 数据中台工具技术组件,包括数据汇聚、数据开发、数据资产管理、数据服务管控等。

2. 数据体系

数据体系是数据中台建设、管理、使用的核心要素, 全企业的数据通过各种方式汇聚到数据中台,在数据中台按照一定的建模方式进行加工,形成企业的数据资产。

3. 服务体系

数据中台与大数据平台的最主要区别是数据能更方便地以服务化的方式支撑业务,这是通过数据中台服务体系实现的。服务体系是通过数据中台的服务组件能力。把数据变为一种服务能力。

4. 运营体系

运营体系是数据中台得以健康、持续运转的基础。 运营体系包括平台流程规范执行监督、平台资源占用的监管及优化推动、数据质量的监督及改进推动、数据价值的评估、数据服务的推广,其目标是让平台可以持续健康运转,产生持续价值。

五、5个关键步骤

数据中台在具体落地实施时,要结合技术、产品、数据、服务、运营等5个方面,逐步开展相关的工作,在构建闭环时会多考虑基础设施部分的能力,一旦闭环建设完成,就可以在各个环节不断丰富能力,逐步成为数据应用的完整体系。

收藏:不错的数据中台建设方法论_第3张图片
1. 理现状

梳理企业的系统建设,已经拥有的数据以及业务特点等现状,了解企业对数据中台的认知,以及相应的数据文化建设情况。

2. 立架构

根据现状形成整体的规划蓝图,形成技术产品、数据体系、服务方式以及运用重点等相关的方案,梳理并确立各块架构。

  • 业务架构,保障数据中台能够适用于企业的业务运营模型和流程体系

  • 技术架构,主要是指技术体系中的数据基座,主要根据业务架构近远期规划,对数据的存储和计算进行统一的选型

  • 应用架构,特指数据中台的应用架构,后面几个关键步骤的内容所依赖的工具主要是由数据中台作为平台应用来承接

  • 组织架构,主要是保证中台项目的顺利落地需要企业考虑的整体组织保障

3.建资产

结合数据架构的整体,通过数据资产体系建设方法,帮助企业构建既符合场景需求又满足数据架构要求的数据资产体系并实施落地。这个步骤涉及数据汇聚、数据仓库建设、标签体系建设以及应用数据建设,其中最关键的是标签体系建设。所谓标签体系是面向具体对象构建的全维度数据标签,通过标签体系可以方便地支撑应用,大数据的核心魅力和服务能力主要就体现在标签体系的服务能力上。

4.用数据

从应用场景出发,将已经构建的数据资产通过服务化方式,应用到具体的业务中,发挥数据价值。将数据资产快速形成服务能力并与业务进行对接,在业务中产生数据价值,实现数据的服务化和业务化。在服务过程中,数据安全是不得不考虑的问题,哪些人能看到什么数字资产,能选择什么类型的服务都是需要严格审核的。

5.做运营

数据应用于业务后,其产生的价值通过运营的能力不断优化迭代,并让更多的人感知到数据的价值点。数据中台建设是一个持续建设和运营的过程,所谓持续建设和运营是指在架构基本上情况下,循环图中的步骤。

你可能感兴趣的:(大数据,人工智能,云计算,数据中台)