【案例】中国太平保险构建大数据报表平台系统

数据猿

数据猿官网 | www.datayuan.cn

今日头条丨一点资讯丨腾讯丨搜狐丨网易丨凤凰丨阿里UC大鱼丨新浪微博丨新浪看点丨百度百家丨博客中国丨趣头条丨腾讯云·云+社区

客户背景

中国太平，即中国太平保险集团有限责任公司，是我国第一家跨国金融保险集团公司。1929年11月20日始创于上海，1956年移师海外，2001年重新进军中国内地市场。中国太平是四大国有金融保险集团之一，2012年列入中央管理，总部设在香港，业务范围涵盖寿险、产险养老保险、再保险、再保险经纪及保险代理、电子商务、证券经纪、资产管理和不动产投资、养老产业投资等领域，为客户提供一站式综合金融保险服务。公司不仅成为新时期中国太平持续发展的战略支撑力量，也是中国太平业务和盈利的主要贡献者。

问题与需求

1.      报表数量多、来源杂

原数据分析平台项目上线以来，共开发了约1200余张报表，涉及个险、银保、多元、续期、运营、企划、产品等多个业务部门的报表需求，以及个险营销平台报表、运营数据集市等重点需求。原数据分析平台使用Oracle，计算性能和功能均无法支撑目前来源复杂、数量极多的报表需求。

2.      不支持自定义报表功能

以个险营销报表为例，该系统能够让用户自定义报表，一定程度上实现了灵活性；但是后台依旧使用传统的数据模型。

3.      无法满足多样性和临时性需求

目前仍有很多报表需求，时效要求高，使用形式呈现条件多样性和临时性的特点，现在的开发节奏无法满足业务部门要求。

解决方案

下图是基于星环科技大数据平台的架构设计：

本期系统采用四层技术架构设计，依次为数据源、采集层、数据处理层、应用层，借助星环科技大数据平台及相关技术把Oracle数据同步到TDH平台，并在平台上实现报表查询。

实施效果

中国太平基于星环科技批处理引擎及相关技术，逐步替代了此前基于Oracle的系统，并建立了大数据报表平台，实现了项目既定的目标。同时提高了数据处理能力、提供了灵活的自定义报表功能、提升了需求响应能力、实现了实时报表查询，星环科技大数据平台TDH优秀的SQL及方言支持能力与优秀的计算引擎Inceptor，为应用系统提供了全面的数据支持。

目前已经上线下面几个模块：

1.      数据同步

目前通过可视化ETL工具Transporter已成功把Oracle内的存量数据快速同步至大数据平台。每日产生的增量数据根据数据量级及实时性要求分为批量数据及实时数据，批量数据以T+1的方式同步；实时数据利用Transporter以准实时的方式同步至大数据平台。所有同步工作使用工作流调度工具Workflow进行调度。

2.      数据处理与计算

基于TDH各个组件高性能的存储与计算能力，将各业务系统不同来源、不同结构的数据经清洗加工后形成指标大宽表，实现即席查询、客户行为分析、运营分析、报表查询、客户画像等功能。

3.      报表展示

已经上线10张报表，查询类报表5张，指标类报表4表，自主开发用户画像报表。实现实时报表查询2月-5年的数据，整体报表查询提速3-5倍。

4.      用户即席查询

星环科技大数据平台TDH不仅完整支持标准SQL语言，还支持Oracle的PL/SQL方言。开发人员在星环科技大数据平台可以以类PL/SQL的客户端直接查询数据、开发脚本等，无需重新适应其他SQL语言习惯。用户可使用Waterdrop直接查看历史数据。

项目特点

• 基于大数据平台，实现快速计算、分布式数据存储

• 基于TDH产品的类SQL客户端与优秀的计算引擎Inceptor，方便开发与查看数据

• 实时报表查询

• 大数据平台与数仓结合