数仓 | 企业建数据仓库的必要性

作为数据整合及处理的核心──数据仓库，既承担着与保险核心系统及其他各个业务系统的数据ETL功能，又承担着整合数据、分析挖掘数据等重要的数据处理功能，在当下时效性要求越来越高、数据需求变化越来越快、数据容量越来越庞大的多变形式下，传统的数据仓库技术架构已经无法满足新的需求，迫切需要新一代的数据仓库解决方案。

从保险企业的客观实际出发，结合保险行业当前的经营战略的需求，基于完整合理的保险公司IT系统整体规划，提出有计划、有步骤、自上而下地统一建立保险公司的各种信息系统的体系结构和功能应用。数据仓库是其中非常重要的一个组成部分，处于整个信息系统总体架构的最顶端。

数据仓库    

承担保险核心系统及其他各个业务系统的数据ETL功能；

数据处理功能：整合数据、分析挖掘数据；

时效性高、对保险企业数据需求应变能力强、数据容量大；

处于整个信息系统总体架构的最顶端

核心优势

1、保险行业交互式BI分析

数据仓库在整个BI系统中起到了支柱的角色，更是海量数据收集、存储、分析的核心。对于保险服务机构来说，创建一个完全整合的、企业级的数据仓库环境是一项很大的挑战。数据仓库作为云上企业级数据仓库，具备高性能、低成本、易扩展等特性，满足大数据时代保险行业数据仓库业务诉求。

数据迁移

多数据源，高效批量、实时数据导入

超高性能

PB级数据低成本的存储与万亿级数据关联分析秒级响应

实时整合

业务数据流实时整合，及时对经营决策进行优化与调整

安全可靠

支持数据透明加密，保证系统的高可靠性和数据的安全

与数据库安全防护服务深度整合

基于网络隔离及安全组规则，保护系统和用户隐私及数据安全

2、实时数据分析

保险业务会产生大量实时数据，为了快速获取数据价值，建立起实时数据仓库系统，对数据进行实时分析：

实时入库

IoT、互联网等数据经过流计算及AI服务处理后，可实时入库

实时监控

围绕数据进行分析和预测，对设备进行监控，对行为进行预测，实现控制和优化

融合分析

数据服务对图像、文本等数据的分析结果可与保险其他业务数据进行关联分析，实现融合数据分析

实时交互

通过实时数据平台 flashflow 进行实时交互分析，并可以连接数据可视化 datart 进行实时报表、大屏互动展示

解决方案

随着保险公司的规模不断扩大，有些大企业每天产生的数据量在PB级别，惊人的数据量背后也涵盖着目前保险企业数据整体情况，现有数据类型，源数据存储等：

（1）现有数据类型：

现有数据类型   

业务类数据

服务类数据

线上运营类数据

EXCEL手工导入数据

（2）源数据存储情况：

源数据存储情况   

以结构化数据存储在mysql库中

以结构化数据存储在oracle库中

埋点数据存储为日志形式，APP运营数据存储在mysql库中

 各部门的手工EXCEL数据

方案内容

针对保险企业数据整体情况，保险业新一代的数据仓库采用大数据平台（Hadoop）+分布式数据库（MPP）的混合式架构，包括了操作数据层（ODS）、明细数据层（DWD）、数据汇总层（DWS）、维表数据（DIM）、应用数据层（APP）等。

数据仓库处理流程

无论是结构化还是非结构化数据，都可以经由实时数据平台 flashflow 进行实时采集，使用分布式文件系统存储，运用基于离线、内存、实时流等不同计算引擎进行处理、运算、挖掘，通过数据可视化工具 datart 进行实时报表、实时大屏进行展示，使得保险企业通过数据仓库应用，最终实现数据价值的可视化以及不同应用场景的数据支撑。

实时数据仓库

应用场景

基于实时数据平台 flashflow 打造出面向保险业务分析和管理的数据仓库系统，提供了覆盖整个保险业务的数据分析模型，为整个保险公司的管理和决策支持奠定了基础。

01市场分析

系统通过对同行公开数据、其他机构（保监会、行业协会、国家统计局、银行、各金融信息公司等）公开的数据进行整理、加工、分类，并转化为有效信息，评价自身业务发展状况，分析预测保险市场趋势和业务发展趋势，新产品风险评价，为业务战略策略和市场定位提供决策支持。

（1）竞争实时分析

通过系统实时分析包括市场占有率、竞争对手发展情况、合作伙伴行为等。通过对各类保险公司（自身及竞争对手）的各种数据指标的统计分析与模型预测，了解自身的市场地位和竞争对手的情况，为制定正确的竞争策略提供依据。
（2）实时风险分析

通过对外部数据进行实时采集，分析市场信息，科学指导公司进行各种市场的战略规划，也可以判断出各类市场的风险程度，指导公司分辨高风险的市场，帮助企业及时避免损失。

02承保管理

（1）保费分析

保险公司通过系统对保费的分析，可以实时跟踪险种构成情况和某个产品或产品线的收益情况，与地理分布之间的关系，也可以对代理、分支机构办事处的工作成功，进行数据切片、切块分析，通过 datart 进行可视化报表、大屏灵活展示分析结果。

（2）签单业务实时分析

实时数据平台 flashflow 通过对签单业务进行分析，让决策者和业务人员实时了解公司在不同时间段上，在不同分公司的签单情况，以及不同险种不同级别的签单情况，通过这些情况了解到公司的市场情况，指导市场部门开展相应活动。

03理赔管理

（1）核赔分析

通过 flashflow 分析不同时间段、险种、区域，出险原因，让决策者能够实时掌握到这些方面的核赔情况，掌握各险种的风险度，为来年各险种利率的调整提供了数据依据和决策支持。

（2）骗保侦测

flashflow 通过实时数据采集，挖掘分析内外部理赔资料如支付历史、签单情况、理赔研究资料等，从而侦测欺诈理赔现象，在实际赔付之前，可以将其送往调查部门进一步调查分析；通过系统对理赔带欺诈特征的分析，得出欺骗理赔模型。

04营销与反欺诈

（1）实时营销

通过标签画像，动态管理保险企业用户属性，实时侦测用户行为，助力销售规则与策略制定。通过实时计算，极速推送定制化营销活动，提升用户触达及流量转化。

（2）实时反欺诈

通过实时计算、实时数据模型，监测异常开户、盗卡盗用身份、积分盗刷、薅羊毛、不当套利等欺诈交易行为，实时阻断风险，及时预警。