一个简单的银行转账操作会产生多少数据的流动呢?在用户转账行为的同时,考虑到转账资金的安全性,银行可能会需要存储本次用户转账的时间、金额、位置等数据,通过反欺诈应用系统进行风险预警与交易阻断,当大量用户的转账行为同时发生时,会有大量并发的数据涌入。转账完成后短暂时间里,交易双方会有转账相关信息的查询需求,确认资金正确的交易,银行可能会需要按用户需求提供部分时间段的交易流水信息。在一些较长时间的间隔里,银行还可能会对用户的转账的数据进行分析统计、进行用户画像,以便于银行相关的业务决策。在这个过程中涉及到数据库的实时流处理、实时按需分析、离线分析等复杂需求,如果没有高效的数据平台支撑,很难保障数据分析和应用的有效性和安全性,甚至会对企业对企业数字化战略造成重大影响。金融行业需要什么样的数据库?信通院于2021年发布了《金融级分布式数据库白皮书》,报告中指出金融行业普遍对数据库的安全性、可靠性、稳定性有着全行业最为严苛的要求,因此,满足金融行业需求的金融级数据库产品几乎成为所有行业中的标杆。报告认为金融级分布式数据库是能够满足金融级要求的高可用、高性能、低成本、线性水平扩展、企业级安全、便捷性运维的分布式数据库。与普通数据库的区别?报告认为,虽然分布式数据库起源于互联网行业,但是金融级业务数据的价值较高,对数据库的高可用、强一致、低时延、可扩展性、高容灾性、供应链安全性等要求更为严苛。这也是金融级分布式数据库与普通分布式数据库的主要不同点。
那么,要达到金融级分布式数据库的要求,需要做到满足:数据强一致性的需求:金融级分布式数据库通常用于存储各行业的核心数据,其任意一笔数据错乱、丢失将带来严重影响。因此即使在某些软件故障、硬件异常的情况下,数据库都应保证数据的强一致性。业务连续性和数据可靠性的需求:金融级分布式数据库服务于涉及国计民生的重要业务系统,其对运行连续性要求异常严格。此要求来自于金融业,也来自于政务、大型企业本身需求、监管机构要求和用户舆论压力等。数据库作为业务系统的基础,其通用的可用性要求在 99.999% 以上。为确保在异常情况下数据不丢失、不错乱,即使极端异常情况仍需确保数据的留存,金融级分布式数据库的可靠性通常要求在 99.999999% 以上。快速扩展、敏捷迭代的需求:在金融级场景中,存在短时间用户规模增大或业务迭代需求强劲的情况,金融级数据库要求适配上述场景,即数据库具有快速扩展的能力, 同时业务系统要具备快速匹配的敏捷迭代能力。而在传统建设模型中,快速扩展、敏捷迭代几乎是不可行的。因此分布式、微服务、标准开发框架等开始在金融级数据库中得到普及与推广。低成本与云计算的需求:金融级业务种类繁多,随着时间增长数据也会快速增加,带来支撑性数据库变得越来越庞大。这意味着如果每个系统都按照传统商用数据库建设标准来建设,会带来极高的成本。因此云计算环境的金融级数据库的集约模式建设方案正逐步成为主流趋势。高端服务器等供应链风险:受国际政治格局影响,采购国外高端服务器(芯片)等存在诸多不确定性。一旦出现国外服务器(芯片)断供,可能导致严重的后果。而短期内,国内对于芯片的供应可能仅在 28nm 或者更低的水平,单一服务器的算力不足会对金融业务建设系统带来诸多问题。OushuDB—云原生数据库新锐准独角兽了解了金融行业的需求,以及金融级数据库产品的定义,我们来看看云原生数据库新锐准独角兽偶数科技如何通过OushuDB逐条破解难题。什么是 OushuDB?OushuDB是由偶数科技自主研发的新一代极速云原生架构的分布式数据库,支持高并发,高吞吐,高性能的弹性计算。OushuDB兼容国产软硬件平台,符合国家信创标准,支持各大公有云和私有云。通过计算存储分离架构解决了传统数据库高成本、低性能、高门槛、难维护、难扩展的问题。OushuDB 具有哪些特点?云原生:采用计算存储分离架构,利用云服务器、分布式存储,对数据基础设施的可扩展性进行深度优化,充分满足云端应用高度弹性、无限扩容的要求。支持腾讯云、阿里云、华为云、金山云、微软Azure、AWS等主流云平台。高性能:面向PB级大数据的复杂查询,相比MPP和SQL-on-Hadoop快一个数量级。全新设计的执行器让性能提升5~10倍,显著降低批处理和即席查询所需的时间。强兼容:具备完善的SQL标准和ACID特性,支持HDFS和多种对象存储的增删改查、以及偶数自研的Magma存储。兼容基于Oracle,PostgreSQL,Greenplum开发的数字应用,用户可以轻松实现不同数据基础设施的平稳迁移。自主可控:OushuDB由国内顶尖数据库内核研发团队自主开发,符合国家信创标准。偶数研发团队曾主导国际顶级的数据库开源项目。应用广:OushuDB已在金融、电信、政府、制造、互联网等行业的数百家头部企业得到广泛应用,助力各类企业完成数字化转型。可以说,OushuDB数据库所具有的高可用、高性能、低成本、易扩展、自主可控的特性,完全符合金融级分布式数据库的定义,并满足金融行业的业务需求。借助OushuDB作为底座,更可以快速搭建偶数科技的湖仓一体和实时湖仓方案。基于OushuDB的实时湖仓一体方案什么是湖仓一体方案呢?在企业进行湖仓一体化探索时,可能对原有的IT系统和平台产生路径依赖,从而选择采用湖仓分体的技术模式,即湖是湖,仓是仓,而这个各自独立部署,数据通过ETL的方式打通,即业内常常提到的Hadoop+MPP模式。这种方式尽管在逻辑上可以为用户提供统一的数据管理能力,但在物理层面数据湖和数据仓库仍然是分离的,同一份数据可能分别存在于多个存储集群中,从而不可避免的形成数据孤岛。而在企业克服湖仓分体模式带来的种种弊端的过程中,又可能进一步催生ETL逻辑复杂、数据变更困难、数据不一致等一系列实施与运维问题,最终不仅无法最大化湖仓性能,还极大增加了管理运维成本。偶数科技研发的OushuDB创新性的采用了存算分离的云原生架构,突破了传统MPP和Hadoop的局限,将计算和存储部署在不同的物理集群中,使得计算和存储资源可以独立的弹性伸缩;通过构建虚拟计算集群,OushuDB可以在数十万节点的超大规模集群上满足高并发需求,形成了统一的数据体系,不仅使得湖仓更适应云环境,还降低了用户的成本;通过支持分布式表存储Magma,OushuDB的计算引擎便于实现快照视图,能够高效实现实时查询需求,从而在性能和事务方面的支持更加完善。
(偶数科技湖仓一体化解决方案)为了同时满足实时流处理、实时按需分析和离线分析需求,偶数科技独创性的探索出了Omega全实时数据处理架构。Omega架构通过流处理系统WASP实现实时连续的流处理或批流一体处理,并通过存储于实时数仓的快照视图完成实时查询,从而解决了传统Kappa架构落地困难、Lambda架构难以保证数据一致性的问题,并极大简化了数据架构。
(Omega架构逻辑图)满足用户“既要也要”的要求,偶数科技的突破性技术和前瞻性观点并非空中楼阁,而是以多年的行业实践和用户洞察为基础支点形成的经验沉淀。偶数科技正在赋能用户的过程中不断完成自我迭代,探索最佳实践。结语作为企业数字化转型的先锋行业,银行业自80-90年代起就已经开始了信息化探索,在自手工统计到信息化再到数智化的较长技术发展过程中,大多数的银行形成了较为复杂的技术体系。偶数科技率先洞察到了银行面对大数据时代的高性能、安全性、可靠性、稳定性需求,早在2020年就与建设银行成立了高性能大数据联合实验室,共同探索金融级数据平台的实施路径。银行业是所有行业中对应用的自主可控、高可用、高可靠性的要求最高的领域之一,偶数科技解决方案在银行业的落地正是其技术实力和对用户痛点理解力的明证。除了银行业以外,截至目前,偶数科技的产品和解决方案已在非银金融、电信、政府、能源、制造和互联网等行业中被广泛的部署和应用。同时,其商业模式的可行性与成长性也得到了资本的认可,连续获得了国内顶级投资机构红杉中国、腾讯、红点中国与金山云的四轮投资。而随着未来物联网、工业互联网的逐步建立,大数据领域将面临越来越广的数据来源、越来越大的数据量、越来越多的非结构化数据、越来越丰富的应用场景和越来越复杂的技术栈,大数据处理和分析的难度将进一步提升。集合了众多组件的强大能力,OushuDB 已然成为企业打造金融级数据库平台的最佳选择之一,将会持续的为包括金融在内的等众多行业用户提供更加优秀的数据服务。