新一代金融大数据架构将是什么？

9月底，由 Kyligence 主办的金融科技沙龙在北京顺利召开。这次沙龙的主题是“新一代大数据架构升级”，Kyligence 特别邀请了企业代表中国建设银行、大地保险的技术负责人到场分享大数据建设之路。三十多家银行、保险、券商的技术和管理人员出席了此次会议。

Kyligence 自2016年成立以来，有幸服务国内多个领先金融机构，招商银行、建设银行、银联、国泰君安、华泰证券、太平洋保险、大地保险等行业标杆。作为业内的厂商，在服务这些标杆企业的过程中，我们观察到的未来架构将是什么？
以下内容节选自 Kyligence 北区及交付中心负责人周涛的现场演讲。

企业数据分析架构进化

早期，各行业的数据分析架构普遍以数据集市为主。从2000年初，国内开始兴起数仓的建设，尤其是金融行业。

到了2010年，大数据潮流开始风靡，数据湖的概念逐渐兴起。国内的绝大部分行业特别是金融行业，都走到了混搭平台的阶段：既有基于传统数据库或者 MPP 做的数仓，同时也搭建了基于 Hadoop 技术框架的大数据平台。但各个金融企业由于历史背景、技术路线不一样，数仓和大数据两个平台分别的定位以及它们之间的差别和关系也都不一样。

 

企业数据分析下一代架构是什么？

虽然数据驱动、数字化转型、数据中台等概念甚嚣尘上，但业内对于下一代数据架构还没有形成一个标准答案。Kyligence 作为国内大数据领导厂商，在持续服务重量级金融客户的同时，也在和我们客户一起，结合他们的现状和不同需求，探索下一代企业数据分析架构的各种形态和解决方案。

比如国内券商领导者国泰君安，一直以来都没有建设集中的数据仓库，数据也分散在各种类型的数据库中，但各类数据分析需求却层出不穷、非常旺盛，什么样的加工能够快速、标准化、服务化的满足业务部门的各类数据查询和分析需求，如何能够将传统交易数据和用户行为数据相结合提供融合的数据查询能力，挖掘客户价值、赋能精准营销？

比如作为国内零售银行的标杆，招商银行无论是在传统数仓平台，还是在大数据平台，都进行了巨大的技术投入和海量的数据存储，但以报表为主的数据分析方式，断然是难以快速响应和满足各业务部门、分支行机构多样化、碎片化的数据分析需求的，什么样的架构才能调和多年遗留的各类系统、混搭的技术架构，以一种更优雅的方式满足打通数据烟囱、统一数据服务、保护历史投资等需求？

又比如以开放的科技服务公司为目标进行战略转型的中国银联，以往的数据架构和技术平台都以某外商传统的数仓/BI产品为主，技术架构过时，技术能力不可控，如何才能在实现自主可控的基础上，既能保障原有的分析应用平滑过渡，保持业务的连贯性，又能同时支持战略转型过程中的业务创新和科技输出需求？

 

下一代架构趋势

Kyligence 通过和众多重量级金融客户一起探索和实践，认为下一代大数据架构及解决方案虽然形态可能各不相同，但都至少需要具备以下三大能力：

第一“数据分析民主化”。所谓民主化就是能够把数据分析的能力释放给一线业务人员，甚至是释放给企业的外部合作伙伴和客户。大数据时代的显著特征（相对于数仓时代），除了以Hadoop为代表的分布式架构和技术组件的快速发展，还有一个很重要的特征，就是所有人，从企业到个人，从管理层到一线员工，都开始重视数据，渴望数据，期望能够通过数据来辅助自己的日常工作和生活。

但数据民主化并不是IT 部门简单粗暴的把数据给到业务用户就算实现民主了，这里需要考虑什么样的数据使用方式是这些用户能够接受的，系统能不能支撑数据用户暴涨后带来的高并发压力，怎么在不同类型的用户之间做到合理的数据安全管理等多方面问题。

第二，数据服务自助化。目前金融企业的数据服务主要都是依靠堆人来实现的，但随着民主化趋势的深化和数据需求的爆发，必然导致人手紧缺、工作负荷激增，Kyligence认为当前大数据的主要矛盾是指数级的数据需求和极其紧缺的数据人才之间的矛盾，也一直以实现大数据分析的自助化、智能化，释放大数据生产力为己任。

第三，数据资产的融合化。这跟原本做数仓的驱动有点类似，做数仓是为了实现企业内部业务数据的集成和融合，形成运营管理、客户营销的全局视图，但随着移动互联网、IoT、5G技术的快速发展，企业面对的局面是数据来源越来越多，把所有数据集成到一个平台的思路越来越难以实现，需要我们从数据架构、从服务定位的角度去进行思考和探索。

在这样的数字化转型趋势下，Kyligence 能为企业客户带来怎样的解决方案呢？

1）一站式数据赋能

数据分析经过多年的发展，各种应用方式已经有着非常成熟的定义和场景，但多年以来BI最后都成了做报表，很多所谓的大数据分析最后也仅仅是做个大屏（更漂亮的报表）。多维分析、自助分析、灵活查询这些需求受制于数据量、算力、分析粒度等因素，最后都被扼杀在需求讨论阶段。比如说某金融企业的业务部门，一直希望能够对自己的商户进行自助分析以进行深度的商户洞察和业务创新。当需求提交给 IT 后，面对千万级的商户分析粒度和上百个分析维度，IT 一筹莫展，几经交涉后最后提交的方案是“Top100的商户指标报表”。

Kyligence 一直在“数据民主化”这个方向上不遗余力的进行创新，通过一站式平台提供固定报表/仪表盘、聚合分析、明细查询、灵活查询等各种分析场景，以满足各类分析用户的诉求。同时，为了更好的应对金融企业的内部IT环境，降低数据分析的技术门槛，Kyligence产品不但打通了跟业内各种主流BI工具的连通性和兼容性，更是和目前使用最广、众多表哥表姐最喜欢的分析工具——Excel进行了连通和对接，业务人员通过Excel就可以直接进行大数据分析，不用任何的学习成本。

另外，Kyligence 产品从开始设计的第一天起，就把 API 作为标准的对外接口，不仅仅是数据查询、数据导出，所有的功能（设计、开发、调度、管理）都可以通过API接口来进行调用，可以很容易的集成到企业的整体IT架构里，也可以很顺畅的融入到目前以微服务为主流的数据共享方式，配合金融企业进行“开放银行”、“API 经济”等业务创新和战略转型。

2）智能建模及优化

有了数据民主化的能力，再结合大家熟知的Kyligence产品最核心的高性能（亚秒级）交互式分析能力，是不是就可以做好数据服务了？如果只是一次性工作，也许是可以的。

但大家都知道，数据服务不是个一蹴而就的事，相反，这是个持续周期很长的工作。就好比想要赛车跑的快，各种配置优化和参数调校必不可少，但随着赛道路况、车手习惯的改变，并没有包打天下的配置模式，需要持续不断的进行调整和优化，并且需要具备专业技术和丰富经验的专家才能做好。这种自然规律同样在Kyligence早期产品上得到了印证，上手和使用很容易，但要持续用好却又有一定的技术门槛。

增强分析近年来成为大数据分析的主流发展方向，期望通过AI技术和算法来降低数据分析复杂度。

Kyligence 依托客户群体的不断扩大和各种应用场景的深度使用，我们得以不断积累客户的使用场景和优化经验。在 Kyligence 最新发布的 4.0 版本里，我们把这种经验积累转换为算法并结合AI技术内置在产品里，通过把分析人员作为产品的用户，在他们使用产品的过程中不断积累他们的使用场景（SQL）、使用习惯（频次）、用户体验（响应时间）并且结合产品特征（数据），支持智能的建模和优化，达到透明的分析加速和运维优化，可以极大的降低数据服务人员在开发过程中的技术门槛和工作量，从而实现数据服务自主化和智能化的目标。这就好比智能汽车，能够通过传感器数据采集、用户行为收集等方式来实现自动驾驶。

3）融合新旧数据资产

前面已经提到过，随着数据源的快速增加，用户行为、日志等流式数据的价值凸显，期望通过传统数据集成方式在存储端来打通数据、融合数据的难度越来越大，并且实现周期也越来越长。而 Kyligence 一直致力于通过对接不同数据源，同时支持流式数据和批量数据等技术创新，在分析端进行数据融合，以更为敏捷、成本更低、见效更快的方式支持金融企业对新老数据资产进行融合分析的需求。

 

结语

前面我们谈到了数据架构的演变历史，以及不同类型金融企业的数据分析架构发展趋势。Kyligence 公司作为技术立身的大数据厂商，经过这几年的快速发展和迭代，并且有幸在众多大型金融企业接受了恶劣环境、复杂生态的锤炼和锻造，已经打造出适应市场需要的成熟产品和解决方案。

但水无常势，我们不愿去断言下一代大数据架构一定是什么样的。在业务转型不断深化、新技术层出不穷的今天，无论是大数据架构、产品以及解决方案都是需要不断适应趋势进行迭代和演化的。并且，产品和方案难免都会有缺陷，重要的不是完美，而是快速响应、修复问题、靠近完美的速度和能力。

Kyligence 作为国内大数据领导厂商，在和客户一起实践和成长的过程中，除了产品本身，更重要的是形成了高效、完善的产品研发和管理体系，积累了强大的研发实力、快速响应能力和众多最佳实践。使我们能够、也有信心赋能金融企业做好数据驱动、科技赋能的战略转型，在大数据时代的每一天都能用专业的产品和服务帮助企业走好数字化转型的每一小步。