调研:黄勇 洪逸群
撰写:黄勇 洪逸群
指标是指衡量目标的量化参数。在现代企业的经营管理中,为避免单纯依靠人的经验做决策带来的偏差,运用量化的方式来对业务经营目标进行管理是一种普遍实践。
通常,企业内部需要建立和使用很多数据指标。为便于统一管理,企业会将这些零散的数据指标按一定的业务逻辑或维度进行梳理和串联,形成一套具备业务参考价值的指标体系,并通过数据看板或接口形式,提供给管理或业务人员使用。
基于指标体系的应用,企业能够实现的价值包括:一,统一指标的计算口径,对齐业务目标,从而提升组织效率;二,反应业务经营状况,加速管理者制定商业决策;三,赋能业务人员自主用数,主动发现业务运营问题。
然而近年来,在数据分析平民化、数据应用需求爆发式增长的背景下,企业在指标的构建和应用中面临着诸多挑战,也由此催生了企业在指标中台构建方面的探索,以实现对指标的统一管理与应用。在本文中,爱分析将对这些挑战进行详细阐述,并重点分析指标中台具备的功能和价值,同时结合领先企业的实践案例,为企业构建指标中台,实现更简单和高效的数据应用提供参考方案。
1、数据分析平民化时代,企业在指标体系构建与应用中面临的挑战
尽管数据指标对于企业的经营管理有着重大价值,但当前大部分企业在指标构建与应用中,普遍还沿用着一种较传统的方式,即由管理部门和少数核心业务部门集中向IT部门提需求,数据开发人员从数仓或多个业务系统中采集数据,再做汇总计算,并将计算结果整合成数据报表,整个过程要花费数天甚至数周时间。
然而随着近年来数字化转型的加速推进,企业对数据应用的范围从之前的面向管理层和少数业务人员扩展到面向几乎所有的一线业务人员,并为之提供实时、智能的探索式和自助式数据分析。此外,企业需要处理的数据量也随之急剧膨胀,这给企业指标构建与应用带来了一系列挑战,致使传统的模式和技术方案都已不能适应这样的变化。
以数字化程度较高的银行等金融行业为例,企业目前在指标构建与应用中主要面临着以下四点主要的挑战:
**第一,现有系统无法满足业务人员更精细化、更实时的用数需求。**随着企业的数据服务对象从管理人员为主转向更多的一线业务人员,这对企业的数据服务能力也提出了更高的要求。一方面,为了让业务运营实现更深度的数据驱动,企业需要给业务人员提供更细颗粒度的数据指标。以银行的普惠金融、营销业务场景为例,一线业务人员在开展业务时不仅需要汇总的数据,还需要对数千万甚至上亿用户从更细的维度去进行数据分析;另一方面,大量业务人员的用数需求都要求更高的时效性,如果像传统报表开发需要等待数天或者更长时间,将无法适应业务快速变化的需求。
**第二,IT能力难以适应爆炸式的数据消费的要求。**面对业务部门急剧增长的数据应用需求,传统的“业务提需求,IT做开发”的方式不仅会产生大量数据开发的人力成本,甚至IT部门无法满足如此大量的数据开发需求,而业务人员又难以自主地进行数据指标的开发。
与此同时,数据应用的大量增加也会对IT资源提出更大的挑战。一方面,各部门各自生产数据指标,由于口径不统一,原始数据表经过多次加工处理会产生多个衍生表。以某银行为例,其一张原始表经过一系列加工处理后产生了几万张衍生表,而其整个数据仓库中则存在几百万张表。如此多的数据表不仅占用大量存储,更关键的是其会在数据应用中产生大量ETL任务,并且充斥着大量重复性工作,导致消耗和浪费了大量计算资源;另一方面,当企业积累了大量数据指标之后,其指标加工和查询需要也需要IT基础设施具备更高的能力,以满足高性能、高并发的查询服务。
**第三,管理人员缺少统一的指标查询入口。**为了支撑企业内各级管理者能做出正确的决策和指挥,需要为其提供及时、准确的数据指标查询入口。同时,管理者也需要对一线业务人员在使用的数据指标情况进行全局掌握,提高管理效率。因此,需要有一个统一的平台,能将管理者的数据指标和业务人员在开发和使用的数据指标进行端到端的打通,并且在平台上进行数据指标的敏捷加工和快速展示,从而实现有效管理。
**第四,数据治理缺乏有效抓手,数据治理工作很难推进。**数据量的急剧膨胀通常会导致系统中的数据质量变差的问题,也因此会给数据存储、处理和分析各环节的性能和使用效率带来很大挑战。此时,企业需要通过开展数据治理工作来提高数据质量。然而,在企业的实践中,数据治理工作经常会半途而废,其中最核心的原因在于,数据治理工作往往非常繁杂和耗时,当企业缺乏有效的抓手去开展数据治理工作时,将很难产生直接的成果和效益,到了后期也就无法继续推进。
2、指标中台支撑更高效的指标体系构建与应用
指标中台是企业用于对指标进行统一管理和应用的平台。在数据分析平民化的趋势下,指标中台提供了将治理后的数据以业务化视角进行建模、查看、管理和使用,并提供业务衍生指标的自定义功能,为用户提供统一的指标看板或指标调用接口。同时,通过在平台中不断沉淀和更新指标,实现指标的共享复用,构建指标运营生态。
企业搭建指标中台的核心要义在于顺应和助推数据管理与应用从集中式的模式转向去中心化的趋势。如前文所述,传统的“业务提需求,IT做开发“的模式在数据应用需求剧增的背景下,将面临管理、业务、IT,以及数据治理层面的诸多挑战,企业需要引入指标中台,让各个部门的业务人员能够在平台上灵活自主地构建指标体系,赋能其业务运营,让数据应用更简单和高效。
指标中台的应用,也将会给企业数据管理与应用的模式带来深刻转变,并对管理、业务、IT等相关各方人员的角色和能力都提出了不一样要求。具体而言,通过指标中台的应用,企业能够在数据管理和应用中实现的效果和转变包括:
**1)构建业务数字化经营管理体系:**企业内各级管理人员可以通过指标中台更加便捷高效地访问数据化、体系化的业务经营指标,从而更加及时、准确了解经营情况,真正做到基于数据驱动做出正确的决策。
**2)形成人人都是分析师的数据文化:**指标中台可以面向全公司的相关用户提供数据访问、自助分析以及数据开发能力,降低了用户使用数据的门槛,赋能业务自助用数,加速数据分析师文化的培养。
**3)建设业务和 IT 的高效合作新模式:**指标中台通过指标模型智能管理、加工与查询加速,可以大幅提升数据开发效率,以数据敏捷推动业务敏捷,变革传统的“业务提需求,IT做开发”的合作模式。
**4)推动完成数据治理工作:**以指标治理为抓手,对齐指标口径,推动数据治理工作,通过指标治理逐步完善数据治理。由于指标计算涉及底层多方面的数据,且大量业务人员日常会频繁关注和使用数据指标,数据质量导致的指标口径不一致的问题会很容易被发现。因此,指标中台可以有效地以指标治理推动数据治理。
3、领先企业的指标中台应用实践案例
银行业由于业务范围庞杂、组织内数据应用需求广、资金和研发实力强等因素,一直走在数字化的前沿。随着数字化转型的深入,以及对数据是重要生产要素的认知的不断提升,一些领先的银行近年来加大对数据在企业日常经营管理中发挥作用的探索,纷纷投入建设新型的指标中台以构建口径统一、业务驱动的指标体系,从而有效衡量业务经营和发展情况。并通过指标中台,降低数据使用门槛,实现数据赋能一线业务人员,全面推动银行数字化经营。
以某股份制银行为例,其自推进集团数字化战略以来,各业务条线都建设了数字化经营中台,随着数据需求的爆发,银行内的数据表、ETL作业、BI报表的开发维护工作量变得非常巨大,由此导致的数据开发周期长,数据口径杂,数据获取难,查询响应慢等痛点也愈发显著。
为解决上述问题,该银行以指标治理为切入点,在行内打造了统一的指标管理中台,提供了指标的录入、发布、派生、分享、可视化应用以及深度分析等全套解决方案,并为该银行亿级数据下多维分析提供了四大核心能力:
**1)指标构建服务:**通过指标定义派生、衍生,并统一口径,平台自动构建智能模型、自动管理相应的任务和资源队列等,并完成指标的汇总、加工和计算。
**2)指标查询服务:**平台提供异步查询、主被动缓存、降级下压、智能聚合等功能,满足大数据量多维查询场景下快速响应与灵活分析的需求。并且平台利用指标卡片,让指标真正活起来,让用户可以更直观的找到指标、使用指标,以及利用指标看板功能,让普通业务人员也能轻松制作看板、分析数据,减少对数据开发人员的依赖。
**3)数据治理:**以边使用边治理的理念为驱动,提供指标、维度、数据时效等的治理功能,在场景化应用中提升数据规范性、减少指标和维度的二义性,从而提升数据管理水平。
**4)AI能力:**平台以业务场景为导向,围绕指标应用,提供了算法的接入能力,帮助用户便捷地开展深度分析。
图1:某股份制银行指标中台架构
指标中台改变了该银行传统的数据开发模式,以及业务用户的数据应用模式,降低了数据开发的成本,提升了数据应用的效率。
目前,指标中台已经积累的指标数量达到1.1万。而其数据开发周期由平均12天缩短至3-5天,大数据报表开发人力耗费减少30%;同时,中台也改变了业务人员的数据应用模式,有近50%常规需求被替换为指标及指标看板开发,实现一线业务自助用数。此外,指标中台的建设,也进一步推动了该银行的数据治理工作,基于指标中台银行实现了数据资产的广泛共享,有问题的指标能够及时地被发现和纠正。
4、典型厂商的指标中台解决方案
目前,在国内市场提供指标中台解决方案的厂商主要有两类。
第一类是传统的BI厂商,这类厂商主要提供的是一套涵盖指标定义、指标建模、指标固化、指标可视化分析等功能的指标管理工具,侧重为企业提供指标集中管理、统一口径以及指标可视化的能力。
第二类是数据管理与服务平台提供商,这类厂商的解决方案除了注重在指标定义与管理能力、更高效和智能的数据处理和加工能力建设之外,更重要的是帮助企业构建自有的数字化体系建设方法论。典型的厂商和产品如Kyligence指标中台解决方案,其提供的新型指标中台打破了以树形指标体系自顶向下建设的传统思路,以高效赋能业务为目标,以去中心化为底层逻辑,以自动化、智能化为手段,通过帮助企业把指标基础模块搭建好,让客户不断发挥业务自主性和创造力,构建出自有的、灵活高效、高价值的数字化中台。
爱分析认为,在业务变化更加快速、数据分析需求更加下沉的当下,具备更高的灵活性和敏捷性的新一代指标中台才能真正成为支持“全民”自助式建指标、用指标的基础设施,再结合指标体系构建和流程管理的方法论,将使企业掌握可复用、可扩展的数字化经营管理体系构建能力,增强经营韧性,从而具备更长期的竞争力。
以Kyligence为例,爱分析在调研中发现,促使指标中台的有效落地的关键因素可以分为两部分。
**其一,先进技术为指标中台构建夯实底座。**Kyligence在为多家企业级客户搭建指标中台的过程中,致力于建立一套具备独特优势的指标中台产品技术解决方案。该方案通过为企业提供AI增强的智能指标引擎,可以实现智能的指标建模、加工和计算,加快指标开发和上线的效率,以及高性能、全场景的OLAP引擎,能够实现各类指标查询的秒级响应;同时,Kyligence为企业在数据存储和应用之间构建统一的语义层,便于业务人员快速获取口径一致的数据,降低过多中间表造成的资源消耗;并提供全面的API集成接口,能够与企业现有的数据管理、调度、安全等组件无缝集成。
**其二,完善的体系构建和流程管理方法论成为助力指标中台运行的有效机制。**基于其服务头部银行等客户的实践,Kyligence总结认为指标体系构建方法论需要包括适用于企业管理的OSM模型和适用于用户运营的AARRR模型。指标流程管理方法论则提供了从需求分析、指标接入、指标管理、指标计算、到指标应用全流程中各个角色和职责分工的最佳实践。
5、指标中台的兴起将推动企业完善数字化经营管理能力
对于业务人员而言,指标足够简单、直接,能够支持其在日常工作中自主且广泛的使用数据。而随着企业数字化转型的深入,业务人员对数据应用需求的进一步增加,对海量指标进行开发、管理和使用也将成为必然的趋势。
尽管在传统的BI系统中,用户也可以查看和使用各类指标。但其根本的局限性在于,传统的BI系统是以报表的形式为用户呈现指标,这样的指标口径通常不统一,彼此割裂,不能成为指标体系。最重要的问题是,不能支持业务用户灵活自主地开发和使用指标。
基于上述原因,爱分析认为,能对指标进行自助构建、并统一管理和应用的指标中台将成为所有企业发展到一定阶段后的必然需求。通过指标中台的搭建,企业能够建立以指标为中心的全新的数字化系统,并进一步引入AI算法,实现更智能的分析应用。并在此基础上,企业可以进一步向数据驱动战略迈进,构建完善的数字化经营管理体系,从而建立数据管理共识,最终提升企业的管理能力。