科普知识:什么是决策分析系统
决策分析系统呈现的是数据页面,也就是俗称的报表,报表与报表间、数据与数据间都按照一定的逻辑设定,是业务人员查看、分析数据的平台,更是辅助领导们运营决策的平台。底层数据决定上层分析,所以建设决策分析系统一般包括数据层处理(数据仓库建设)。
开篇点题:项目背景是怎么样的
通常,保险公司信息化程度很高,基本上都有业务处理系统(像集团业务处理系统、老业务处理系统、个人代理人系统等)、数据服务系统(通过ETL对各业务系统数据的集成)、数据分析查询系统(比如销售管理系统、业务查询系统)。
说下项目主角:某某保险公司。话说该保险公司的业务在发展,时间再推移,上述三大系统在配合应用方面就显得非常吃力,问题有:
一、数据量进入TB级
数据变化,多表关联查询,更新删除,受软硬件制约,比之前缓慢。传统写SQL做报表已跟不上节奏。还要保证数据的即时性,准确性,可靠性。
二、报表需求爆炸增长
公司经营体制改革,各业务渠道各部门对数据报表要求在深度,广度,精度越来越高,需求从不同的视角切分查看汇总数据。业务流程时效,处理过程预警。
三、报表开发时效性问题
公司部门人员往往今天提一个需求,明天就想要结果,传统的用存储过程,dtsx包先处理好数据,然后从结果表出数据,一个临时表对应一张报表,非常耗时。延误需求。开发人员工作量也大。
四、统计口径不一致
没有统一的维度,统一的数据标准(业务数据录入出错),统一的业务逻辑,开发人员不同,一个报表这个指标这样算,另外一个人员那样算,导致天天在核对数据。
五、数据权限
不同的用户看到不同的报表,同一张报表看到不同的内容。之前套路开发缓慢。
六、大量数据在沉睡
积累了大量的客户,销售人员和保单数据交易数据,未充分利用,数据深层次的关联,由于信息开发人员工作时间被上面几项问题天天缠着,根本没有时间结合公司实际,去发现数据价值,活用数据,从而把数据转为生产力,帮助领导决策,指导销售人员跟单。
所以,高大上的决策分析系统呼之而出,光荣的历史使命便是:挖掘现有数据价值,用活数据,将数据转化为生产力,从而辅助领导进行决策,促进提高工作效率,提升公司效益。
剑指咽喉:项目建设的目的明细
一、公司数据达到整体统一,所有的分析数据均来源于一处,而且有明确的符合业务的数据粒度,实现数据及时、准确、可靠。
二、统一门户管理报表,统一管理原有系统的报表,以及新开发的报表。不同的职位对应不同的报表查阅、打印、下载权限。对于公共的报表,直接放在网站上,供所有人查询浏览。无需用户登录。同时用户可以在移动端查看报表。
三、报表功能上方便,快捷,高效,展现方式丰富,可以轻松开发报表。能实现定制式报表,用户自定义分析报表,即不同人物角色进去看到的指标不同:有的关注总的,有的关注个人渠道的,且可以让他们自己选择关注的指标。
四、报表在性能方面达到要求,对大数据处理有好的方式,确保在查询5万+以上明细数据时可以快速出来。
五、为未来考虑,整个系统要方便扩展,且有新的技术和应用可以更新。
排兵布阵:项目建设的方案设计
一、数据仓库
1、处理TB级的数据,避免磁盘IO瓶颈,采取分库分表,数据压缩技术设计架构数据库中的表存储。
2、kimball维度设计法则,面向主题设计,分维度表,事实表,采用星形,雪花型结构设计表间关系结构。主题大概有收付费主题,保单主题,新契约主题,核保主题,保全主题,理赔主题,客户主题,单证主题,人力主题等。清单类数据维度架构中直接SQL出,指标类数据从多维数集中通过MDX出。
3、用SSIS从业务系统提取、转换数据,加载到主题库表中。
二、报表开发
用FineReport报表工具依托数据仓库,开发 “常用指标式-固定报表”、“常用指标式-定制报表”、“非常用指标式-数据分析报表”、“非常用指标式-推送查询式报表”、“非常用指标式-用户自定义查询报表”等5类报表N多张报表模板。
三、权限管理
用FineReport报表工具基于角色控制报表与数据仓库中角色维度结合,同时与业务系统等集成,统一权限管理,实现单点登录。
四、后台支撑
APACHE+TOMCAT集群部暑FineReport,以满足5000人访问
五、数据分析挖掘
基于数据仓库,采用多变量分析等方法,对数据进行分析,发现潜在关系,对下一步行为决策提供依据。
辛苦收官,IT小牛的心得总结
所有IT高手都是熬出来的,IT小牛也是。这个项目写出来感觉轻轻松松,其实过程相当坎坷。项目的难度超出预期,尤其是数据仓库建立块,最终项目延期两个月,过程中IT小牛作为项目经理承担着各种压力,项目成员们情绪上的波动,公司和客户的各种催促。最后还是挺过来了,感觉成长不少,一是对待项目评估的谨慎,前期一定要把项目调研做的足够好;二是心态上的成长,大概以后就要冷眼看世界,不管愁与喜了。