数据以简为美，平安银行指标平台建设实践
9月16 日，由张江卡园、中国银联联合主办，Kyligence 承办的“数据赋能，金融科技 2.0”主题论坛在中国银联成功召开。来自平安银行数据经营分析和机器人领域的负责人陆文佳以“数据以简为美”为主题， 介绍了平安银行建设“潘多拉指标平台”的过程和方法以及对业务产生的实际价值 。
引言
2020年9月10日，国际权威媒体《欧洲货币》在其官网揭晓了“2020年度卓越大奖”评选结果，平安银行荣获“全球最佳数字银行”大奖。今年，平安银行是唯一上榜“2020年度卓越大奖”的中资金融机构，更是首家荣获“全球最佳数字银行”的中资银行。
数字银行的突破，离不开前沿科技的驱动。平安银行依托人工智能、大数据、云计算等领域的核心技术，不断将新技术深度植入到经营决策和金融服务全流程，实现数字化、智能化业务运营和经营管理。对于平安银行来说，数据赋能业务的关键在于降低用户使用数据的门槛。
那么如何让用户使用数据变得简单？平安银行认为首先应当以指标的治理为切入点，因为指标是企业最核心、最重要的数据资产。通过打造统一的指标访问平台，基于前沿的智能化技术快速整合，展现，治理和共享高价值的指标资产，打破以往“业务提需求，IT做开发”的被动响应模式，从而让业务方能够主动、快速地找到需要的业务指标，或者基于现有的指标快速派生新的指标。此外，系统还能自动匹配和推送有价值的指标给业务人员，让使用数据变得简单和高效。
指标平台建设目标——简单
为了进一步加强数据治理战略的贯彻和执行，降低用户使用数据的门槛，通过数智化的结构设计，指标平台的建设将有效解决以下三个痛点。
➤ 数据治理痛点
在业务使用数据的过程中，确保数据的完整性、准确性、一致性和时效性，提升业务的使用体验。
➤ 人力成本痛点
在平安银行，仅零售业务就有近200名的数据开发和报表开发人员，同时，业务部门大量的“表哥”、“表姐”都用数据做Excel、汇报或片区的通告，把这些人力从繁琐、重复的工作中解放出来，投入到数据治理和业务创新，是平安银行当下面对的一个重要课题。
➤ 集团数字化战略
在集团推行数字化战略的过程中，内部每个专业子公司也在积极进行数字化战略转型。然而，伴随着每个业务部门都想打造自己的数字化经营平台，源源不断的数据需求给数据部门造成了巨大压力。
平安银行指标平台的建设宗旨是「以简为美」，诚如上图的冰山模型，可以看到「顶层简单」，这里的简单主要分为两个层面。
➤ 简单的需求接入形式
基于指标平台，各业务线数据开发团队的需求接入将变得非常简单。数据开发不用关心维度，只需按规范接入指标，维度关联，衍生指标计算都自动完成。
➤ 丰富低门槛的应用场景
通过模板化、AI智能化的场景应用，让业务能够以较低的门槛使用平台。例如，以往业务直接使用BI平台进行数据分析的门槛和成本很高，通过场景化，卡片式产品设计来降低门槛，业务人员能够轻松使用数据，通过平台自动分析数据，提炼业务问题并做归因，这也是指标平台建设的目标之一。
冰山之下则是强大的技术支撑，完美的产品设计，持续的数据治理和强大的执行力。作为统一的“指标管理”和”指标消费”平台,指标平台致力于为业务方提供一站式数据服务，实践“指标BI化”和“指标AI化”两大理念：
● “1分钟找到数据”：基于关键词搜索快速找到需要的业务指标；
● “3分钟创建看板”：仅需2-3分钟就能拖拽出美观的数据看板；
● “5分钟挖掘价值”：将大量智能化的应用场景融入到指标平台。
以指标BI化为例，基于强大的搜索引擎（服务于口袋银行的搜索引擎），业务用户可以通过模糊关键词搜索快速找到需要的指标，同时，只要进行简单可视化的拖拽，就可以快速设计出不同场景的指标看板，相比传统BI系统，无须考虑配色、布局，使用门槛很低。
指标AI化是指通过平台提升AI应用的产能。以智能预警为例，实际场景中不同维度下的预警阈值是不同的，所以针对每个机构、产品、渠道维度都要设置合理的预警阈值，但这却是一件很费人力的工作。同时对于周期类指标，要区分工作日和节假日的阈值，也是让人头疼的事。通过AI算法，结合历史指标数据自动计算预警阈值，能够大大节省人力，同时帮助业务方快速发现和定位问题。
指标平台架构设计——智能化、组件化
核心引擎
对于指标平台的技术架构来说，指标加工和查询引擎是核心组件。在引擎选型的过程中，平安银行对比了多种业界主流的计算引擎，包括Hive，Spark，Impala，Druid，ClickHouse，Flink，Kyligence Enterprise等，最终从Hadoop生态兼容性、数据量、查询延迟、查询灵活性、QPS五大方面综合评估（如下图），认为Kyligence Enterprise能够满足指标的加工和查询需求，它能够通过分布式的计算和存储进行指标的加工，基于AI增强引擎，实现智能化的计算和运维，显著节省人力开发的成本，还能满足跨主题分析的需求。另外，尤为重要的是，Kyligence Enterprise有本地化团队提供专业的技术支持和服务。
平台架构
如上图所示，平台架构主要分成几大服务模块。
➤ 指标应用
该模块负责实现指标卡片，指标看板，智能预警，归因分析等BI+AI功能；
➤ 构建服务
该模块负责把指标归口到某个模型，并进行数据加工；
➤ 元数据模块
该模块负责管理指标相关的元数据；
➤ 查询服务
该模块不仅是指标平台体系内运用，也可以通过API向外输出到全行其他系统；
➤ 监控服务
该模块负责监控构建任务的状态、资源的使用率，以及数据治理等场景支持。
➤ 核心引擎
指标构建和查询的核心引擎就是前文提到的Kyligence Enterprise产品。
产品架构
如上图所示，产品架构主要分为需求接入、指标管理和指标应用三层。其中需求接入层非常关键，因为平台建设的目标是为业务需求服务，并最终实现数据需求的全生命周期管理，所以平台建设的要求之一就是能够接入不同的业务需求。例如，当业务方提出需求后，需要哪些指标，哪些是已有的，哪些需要加工的？什么时候能完成加工？什么时候可以上线？这些都通过需求管理模块来进行一站式管理。
经营分析生态
在平安银行经营分析生态架构中，指标平台处于数据枢纽的位置，需要往下整合数仓现有数据并在指标化之后，通过指标平台中进行统一的管理。往上看，指标平台作为数据服务提供方，对接可视化、客群分析、监控预警、指标分析等应用组件，再往上是不同的数据使用场景，能够快速复用不同应用组件，实现敏捷开发，并承担了指标中台的角色。目前，指标平台已接入大量指标，其中大部分是离线指标，很快也会接入实时指标。
指标平台应用效果
指标平台上线两个多月，从19年12月完成设计，到20年6-7月上线，整体应用情况如下：
➤ 已接入的原子指标超过500个
➤ 派生指标有1200个
➤ 在不同粒度下的维度有550个
➤ 数据看板已超过400个
相较传统的报表开发方式，指标平台的整体交付效率至少提升了250%（如下图所示），同时，显著提升了集群资源的整体利用率。通过规范的定义和自动化的检测流程，指标平台减少重复性指标的开发，保证指标口径的一致性，使得企业的核心指标得到高度的复用。
其次，指标平台能够增强企业数据治理的能力，以往行内建设的数据资产管理平台，由于和业务脱节，缺少运营意识，时间长了往往沦为摆设。现在指标平台作为中台枢纽，打通了数据和应用，结合日常的运营和治理，能够保障业务方拿到的数据是最新的，口径是最准确的，也是唯一的。
未来的规划和展望
在平安银行看来，中台主要分为业务中台、数据中台和技术中台，中台必须紧密贴合前台。首先，对于前台来说，“速度”和“成本”是关键，需要中台能够快速响应前台的创新需求。其次，中台要以不变应万变，具备自研、配置化管理、复用三大能力，而从这方面来看，指标平台基本满足以上三项要求，因此也可以认为指标平台是中台级的基础平台建设。
数据治理可以说是一个经久不衰的话题，然而要做好治理，对业务的理解、技术的把握、策略的制定、团队执行力等方面存在着巨大的考验。潘多拉平台切入指标并做场景化的治理，提倡边应用边治理，即在业务人员深入场景应用后，让其在日常工作中无感知地参与到了数据治理的工作中，让数据治理变得持之以恒，真正形成一个应用––治理闭环。
下一阶段，指标平台的主要目标有以下四个：
1. 营造内容生态，从UCG升级为PGC模式。
● 让行内其他研发团队可以通过框架化的规范接入自己的卡片或插件，这点之前在机器人的前端卡片场景上有成功案例。
● 改造原有BI工具，利用BI工具定制化强的优势，让业务人员或数据开发可以创建出自己的业务场景卡片模版并在平台上做分享。
● 打通机器学习平台，让算法工程师和分析师可以创造自己的分析或预测类指标、标签（做为维度），进一步拔高平台AI能力。
2. 打通业务数据系统，批量引入业务数据，快速扩大平台的数据范围。
● 打通埋点系统，批量接入埋点数据，让平台具备用户行为分析和系统断点分析的能力。
● 打通精准营销系统，批量接入营销数据，结合现有KPI指标让平台具备分析营销效果闭环的能力。
● 打通标签系统，批量接入标签做为维度数据，让平台在客群经营分析上赋能业务。
3. 支持实时指标。随着业务对数据时效性的要求越来越高，在业绩检视、运营分析、资金变动和归因分析等场景上引入实时指标，实现数据边生产边消费的目标。
4. 强化平台运营。推动业务方，数据开发团队协同配合，持之以恒地对接平台标准，贯彻平台规范，共同完成数据治理。