由中关村金融科技产业发展联盟、中关村互联网金融研究院、中国互联网金融三十人论坛主办的“2023第十届中关村金融科技论坛年会暨2022‘光大杯’中关村番钛客金融科技国际创新大赛颁奖典礼”在“云端”举办。论坛年会为期两天,包含主题演讲、圆桌对话,发布优秀案例、金融科技与数字普惠报告、《web3.0》图书、中关村金融科技30强、金融科技竞争力报告等多个重要板块。50余位行业专家齐聚一堂,共谋金融科技领域的前沿热点,共克时艰、共话未来!
——张桦 亚信安慧副总裁
亚信安慧副总裁张桦在12月14日自主可控专题论坛发表题为:“筑基拓新,AntDB数据库的实践与探索”演讲。他指出AntDB数据是具有“电信级” 的性能和可靠性的数据库产品,融入了PostgreSQL、MySQL生态体系和高度兼容Oracle特性,同时能够覆盖OLTP、OLAP和HTAP等场景,能够帮助企业完成整个数据搬迁和应用搬迁的过程。AntDB数据库的超融架构模式,将内存计算、交易、分析、及流处理四大能力融合,大大降低业务系统对多样化数据需求支持的复杂性,为应用的开发人员以及DBA架构师带来便利,实现企业在在统一技术架构下的实时数据处理,助力数据库技术的国产化。
以下内容根据现场速记整理:
一、AntDB数据库介绍
中国的数字化进程已经走过一个10年,即将迈入下一个10年,越来越多的企业迈出了数字化转型的第一步。在基础软件方面比如数据库,如何帮助企业做深、做实数字化,助力企业更好的实现降本增效。亚信在2008年以前就开始做数据库产品,支撑了全国通信行业超过10亿的用户日常的业务活动,当时整个市场上单独去卖数据库其实挺难的,所以我们基本上就是满足自有需求,做了很多数据库技术的研发,积累了10来年的经验,形成了自己独特的数据库产品。
AntDB是亚信开发的一款数据库产品,是一个能满足电信级要求的数据库产品。一个好用的数据库产品,是要经过很多应用场景的不断打磨,从场景里打造出来的。AntDB产品是在通信核心系统应用场景里,随着2G、3G、4G以至5G的几次信息爆炸的过程不断磨练出来的,通过了通信级的考验,是一个可靠的数据库产品。这里面我们也看到一些关键的企业级的特性,比如说我们多次被提到的RPO、RTO这些技术指标,也是说明数据库产品在关键应用里的安全保障能力。
在去年在上海的一个关键生产系统里,AntDB做到了RPO 7秒以内这样的好成绩。假如我们从企业级的应用架构里去看数据库的话,你就会发现一个企业里企业架构是比较复杂的,不仅仅有Orocle、MySQL,PosgreSQL等大量结构化和非结构化的数据,如果我们站在一个CIO或者CTO的角度去看,这些数据孤岛是造成整个企业IT架构碎片化低效化,产生大量冗余和数据成本,降低业务可用性的关键因素。比如某个领导要看一个报表,结果这个你说要导数据,等到周末行不行。对企业决策来讲是非常受影响的,所以对企业级的数据库来说,兼容性尤其是对数据的兼容并蓄是很重要的。AntDB数据库的一个特点就是能够兼容大部分的生产体系,包括Orocle、MySQL和PosgreSQL。
如果我们站在企业的角度来看,每一个企业它不是第一天在做数字化,它其实是有大量的遗留应用或者前期的东西需要支持,这个时候你要去做去O或者是要用这个企业数据架构的案例,就得有一整套的工具和服务,能够带它完整完成整个数据搬迁和应用搬迁的过程。在这样一个需求下,就要求数据库产品不是一系列碎片化的东西,而是一个预装好的一整套体系。所以从整个生命周期的角度来看,AntDB具备从应用的第一天第一个步骤,所有的东西都是具备的。最后一个概念就是HTTP,它的背后本质是依靠或者通过内存、DIMS、硬件和对应的软件架构设计,让用户的热数据留在内存里,让数据库管理系统既能适应交易型的场景,也能够适应分析型的场景。
我们一要能够把企业里的各种业务场景,在同一个技术平台上尽可能实现低成本。所以说混合负载是一个比较关键的企业级特性。最后我们可以看到AntDB就是这样一个面向企业应用的,或者说面向大中型企业架构的专门的关系型数据库管理系统,能够支持分布式,能够支持独立部署,比较灵活的一个产品。
二、AntDB数据库的发展历程
AntDB的发展和通信行业及社会信息化发展的过程基本上是同步的。90年代末21世纪初,利于欧美市场的传统数据库无法满足我国手机用户量业务量短时间内指数级增长的数据管理需求,尤其是在应对一些核心的应用场景,比如像通信计费、心灵分析,这样的一些新场景是无法满足数据处理的吞吐量和响应性。在这种背景下,亚信科技AntDB数据库团队成立,2008年AntDB第一代自研内存数据库在通信运营商的核心系统应用。随着通讯技术的升级迭代,AntDB数据库也是与时俱进的完成了三级跳,从内存数据库到全功能通用型的关系数据库,再到兼容Orocle、MySQL,PosgreSQL,开源生态对标国内外主流数据库,高度兼容性的全站数据库,更进一步发展到分布式数据库,电信业务中所有通话记录上网的每一个报文收发后台都有AntDB默默的支持。
面对最苛刻的通信应用场景和其他一些关键的性能指标,AntDB也是符合电信级的要求的。像“双11”、“618”电商的交易量非常大,但一年只有几次,而AntDB十年数年如一日,每天都在做着高效率同级别的电信级交易处理。那么在国产数据化百发齐放的今天,AntDB数据库也走上行业舞台,为更多行业客户带来高质量的产品和服务。
AntDB从2008年开始就应用在运营商核心系统上了,至今已经有将近15年,很多人可能会问,为什么我以前没有听说过这个产品,这也是国产化的春风给我们这样的产品的机会,在过去做了大量的技术积累和应用积累,但是没有合适的商业途径。这两年刚好也是这样一个环境和风口,让大家去把这样一个产品从通信行业里推出来,服务于更多的像银行这样的新场景。其次我们是一个服务过很多实际业务场景的产品,在全国都有我们的服务团队,AntDB数据库在电信行业服务的客户遍布全国24个省市自治区,部署的节点也超过1000多个,项目也有数百个,我们目前的应用规模和体量都是国内比较大的最大的单日交易的规模,单日可以达到百亿级。
三、AntDB助力数据库信创发展
从企业架构的角度来看什么是一个好的数据库,我们认为至少要做到以下三条,第一个就是牙口要好,就是要有很好的兼容性,能够适应企业里面各种各样不同的结构化和非结构化的数据。其次胃口要好,从有容乃大的角度来讲,既要能够适应很高的交易密度,也要能够适应很高的存储能力。在这个技术的底层,需要运用到分布式的架构数据分片放在很多不同的地方,平衡好交易和存储量之间的关系。
最后一个好说难做就是要身体好有足够的健壮性,不仅仅在应用跑得顺的时候,没有问题,还得能够处理各种各样的异常情况,这个对企业应用是非常重要的,因为数据库管的是数据,安全生产重于泰山,但这一点往往也是最难的。因为一个产品如果没有足够的积淀,足够的场景去打磨它,是很难说把这个事情健壮性做得非常好,针对这三个关键问题,需要我们的产品做好产品的标准化,这样才能够适配各种不同的生态,还要有海量实时的数据处理能力,以适应国产化环境下对性能的更高要求,以达到大中型企业架构下所需的处理能力。
国产化适配是我国信创产业一直以来的热点话题,作为一款国产数据库产品,AntDB数据库从研发开始就投身于国产化的时代浪潮之中。2021年国内的国产化替代意识开始觉醒,随着工信部自主可控,技术安全可信政策的明确发布,三大运营商也开始了自己的自主可控探索历程。AntDB数据库服务于中国移动某省客户的应用升级,实现了与原有数据库的并行与替换,初步完成了国产数据库的国产化替代。
在此过程中有两大挑战和压力,一是计费系统承担着几千万用户的充值缴费,账务记录的工作可靠性要求提高,稍有风吹草动,后果不堪设想。二是业务处理的量非常大,每月超千亿笔,整体业务量不逊于某些大型互联网公司。因此计费账务系统对于数据库的性能要求非常高,IT核心系统选型的关键在于两方面,一个是数据库的高效处理性能,通过内存与磁盘的双引擎支撑,AntDB能够突破连接数的限制,以应对月初月末出账等大批量并发场景下出现的读写性能瓶颈等问题。二是分布式数据库的可扩展性,AntDB数据库可以支持用户在线进行横向扩展,做到不影响业务的扩容,同时也具备高可用性的设计,保证分布式事物的一致性。
四、AntDB数据库应用实践
案例1:突破性新进展,“全国首个”核心账务域数据迁移改造
这是是一个典型的ORTP的场景。整体的应用规模大概有4,000万的移动用户,将近1.8亿个互联网用户,他们的账务系统和生产系统都在这里面,整个结构是一个标准的,两地三中心架构,三个集群一组一备加上容灾中心,现在部署了27个节点,整个做下来我们跟原来的Arocho rec的4节点集群去做比较,整体上我们的性能提升了10%,批量作业的性能提高了33%,同时能够做到在整个扩收容的过程中无损或者说无感知,这个就是一个典型的分布式的高密度交易的场景的案例,整体的峰峰值TPS大概能够到每秒10万以上。
案例2:海量数据管理,自动化高可用,兼顾性能与数据安全
这是一个偏向分析型的案例,应用上是对移动某省用移动用户的通信记录的存储和管理查询的一个应用,整个系统中有超过1,000亿条数据,每天新增的数据超过了30亿条,整体是1个分布式的架构,由18个节点构成的1个整体集群。
案例3:鱼与熊掌兼得,通过读写分离支撑高性能OLTP场景
这是一个创新案例,我们称之为读写分离的分布式架构,特别适合查询远大于修改的企业应用场景。采用这种架构既可以避开传统分布式部署的复杂性,又能获得很好的横向扩展能力,采用读写分离的部署架构,修改操作集中到1—2个主节点上去做,而查询可以分布到整个集群中,很好的解决了分布式场景下事物一致性和高危、高并发之间的技术矛盾,是一个比较好的技术创新实践。
五、数据库技术发展趋势及AntDB数据库的特点
(一)技术发展趋势
数据处理的实时化是当前重要的行业趋势之一,主要表现为:第一、分析业务从传统的T+1向T+0演进,第二、互联网+业务中的交易从过去的同步锁表向异步流式演进;第三、物联网设备告警从定期抽取向实时推进演进。
对于很多企业决策者来说,在当前的经济形势下需要尽一切可能降本增效。过去每周看看经营报表的习惯,现在慢慢转变为实时可视化的分析企业当前的经营状况,而最终用户的体验也是如此,多等一秒钟都有可能会流失,数据库作为信息的核心载体,其基本的设计理念却没有大的改变。对于实时数据处理的能力,都是通过应用框架直接建立在数据库引擎之外的,那么有没有一种数据库可以主动预警呢?数据库融入流式数据处理能力,可以通过CTO加触发器对实时数据的处理逻辑与拓扑进行定义,是这几年行业中提出的全新课题。
(二)特点
1、超融合架构
AntDB数据库融合内存计算、交易、分析、及流处理四大能力。过去互联网IT行业中有一句话叫专业的产品做专业的事情,也就是说大家普遍认为一款产品把一件事情做好,做精就行,而架构师的职责就是将全世界各种最好的东西搭在一起,来满足企业自身的业务需要,这种模式听起来没有问题,譬如在传统数据库领域,但是在分布式技术已经普及到今天,从技术层面是否还存在同样的制约呢?我们能不能够在一款产品中完美支持多种能力将架构师与DBA系统管理员从复杂的基础设施的规划和搭建中解放出来,更多的关注于上层的业务表达。
用户对于数据的应用需求,当前主要存在4个方面,交易、分析、大数据挖掘和实时流失数据处理,这4大领域当前分别由不同的技术堆栈承载,htap正在尝试将交易与分析进行融合,而亚信AntDB的目标则是将4类数据业务纳入统一的技术框架下,让一款产品对用户做到一站式服务。
2、超融合数据库
亚信AntDB所提出的数据库超融合框架能够充分利用分布式数据库引擎的架构优势,在HTTP的概念上进一步拓展,将持续存储流式执行以及向量化分析等多引擎进行统一的架构封装,在同一个数据库集群支持多种业务模型,大大降低业务系统对多样化数据需求支持的复杂性,为应用的开发人员以及dba架构师带来便利。从企业侧的来看,产品以数据为核心的实现在统一技术架构下的实施数据处理,就是亚信AntDB数据库提出的超融合加流批一体的新能力。
*本文系作者在中关村金融科技产业发展联盟、中关村互联网金融研究院和中国互联网金融三十人论坛(CIF30)12月13-14日举行的2023第十届中关村金融科技论坛年会“ 科技引领·数智未来 ”上的主题发言。