中国数据库发展的黄金期,开源开放才是最有效的手段。
整理 | 屠敏
出品 | CSDN(ID:CSDNnews)
互联网的发展打破了信息的隔阂,数据量的爆发催生了基础性软件数据库的应用。从中国数据库市场来看,其经历了 Oracle、IBM Db2 等国外主流商业数据库的蚕食,也在早期国产数据库厂商的深耕下进行了自主研发的探索,并在 MySQL、PostgreSQL 等开源数据库的引领下实现了一些自定义,而后科技互联网企业发力数据库也让整个市场开启了大规模的“去 IOE”行动,如今随着拥抱开源开放的新势力加持,新场景中数据库的新玩法也逐渐被解锁。不过,时代、应用、场景在不断变更的过程中,这些传统、互联网、新兴的数据库实践者们是如何一路披荆斩棘走到今天的?又是如何在追逐满足于市场硬性要求的同时带来创新的?
在 2021 长沙·中国 1024 程序员节大会上,我们开设了「十大数据库掌门人对话:十问数据库」环节,邀请到以 DM(达梦)、Kingbase、GBase、GoldenDB 为代表的经典数据库门派,以 OceanBase、PolarDB、TDSQL、openGauss 为代表的互联网门派,以 TiDB、TDengine 为代表的新兴数据库企业,相聚于长沙,从历史看未来,聚焦于当下探讨数据库的最佳解法。
武汉达梦数据库股份有限公司董事长冯裕才通过在线视频表示,“在从事数据库 40 年间,一直坚持原始创新,掌握核心技术,做中国人的自己的数据库。一路走来,我们的成功离不开无数程序员的共同努力,让我们携起手来,立足中国数据库的市场需求,面向世界主战场,打造中国世界级数据库产品,助力科技强国。”
对话嘉宾如下:
阳振坤 OceanBase 数据库创始人、首席科学家
李飞飞 阿里巴巴集团副总裁、阿里云智能数据库事业部和达摩院数据库与存储实验室负责人
李 纲 腾讯云副总裁
杜 胜 人大金仓总裁
黄东旭 PingCAP 联合创始人兼 CTO、TiDB 作者
赵 培 中兴通讯副总裁
李国良 清华大学计算机系教授、副主任,openGauss 总架构师
赵 伟 南大通用高级副总裁
陶建辉 涛思数据创始人、CEO
冯 源 武汉达梦数据库股份有限公司副总经理
主持人:
周傲英 华东师范大学副校长
以下为对话全文:
周傲英:数据库跌宕沉浮发展四十年,其在当下也是技术圈颇为火爆的热点之一。今天我们邀请到十位数据库掌门人共话数据库的发展,从类别上来看,可将十大掌门人分为经典、流行、实用三大门派;从时间上来看,可将其分为 60 后、70 后、80 后。不同的门派、不同的时代顶尖代表人物将在今天的对话、交流的过程中碰撞出什么样的共识与火花,不妨让我们从「国产数据库在历史上的定位如何?」为开端第一问,开启属于我们的数据库时代探讨。
杜胜:我们成立于1999年,是国内第一家从事国产数据库研发和销售的企业,在国产数据库商业化这条道路上,我们已前行了 20 多年。2001 年,中国加入 WTO(World Trade Organization,世界贸易组织),全球化为中国经济的发展带来了巨大的推动作用,但在数据库领域,相对落后的国产数据库基本无法与国外先进产品竞争。当时无论是产品,还是研发能力、管理能力,和国外数据库都有很大差距,发展非常艰难。
到了 2009 年,我们参与了国家电网核心的电力调度系统的建设,这个项目是为了电网运行安全而采用了国产数据库,也正是这次实践机会,让我们的数据库产品真正地走进了企业的核心业务领域。通过这个项目锤炼了我们的团队和产品,从此走上商业化道路。
我个人认为整个国产数据库的发展,「前十年,是积累。近十年,是前进」。未来,尤其是信创领域,将会迎来了巨大的市场机遇。
陶建辉:说点真话,我认为我们失掉了很多机会,如果只是做跟随者的角色,很难超越别人。回过头来看数据库发展,如武汉达梦其实在 20 年前新的数据库中已经开始流行,但那时缺乏应用场景的支持。
现在随着很多新场景的诞生,我们不要做追随者,而是成为领头角色,我认为现在新的机会已到来,不过任何新场景的诞生并非是与老场景相互格斗,但也需要格斗,这值得新生力量来做。
黄东旭:我很少谈历史,因为大家开始做数据库的时候,我还没有出生。我认为数据库这款产品是跟着国家或者市场需求往前走,哪里有最极端的需求,就有最不一样的场景,其实才能打造出一个具有引领性的优秀成果。
我们现在处于一个创造历史的最好阶段,也可以于当下定义一个全新赛道,在多年后让人在回顾全球数据库发展史时发现,有很多产品是中国人创造出来的。无需妄自菲薄,我认为我们现在有这样的能力、资源、社会需求、场景,我们正在创造历史。
赵培:从宏观角度来看,中国数据库的发展可能没有四十年,但是在过去 20- 30 年间,在全球范围内,中国在数据库领域的地位还是非常重要的。
在 2010 年前,中国市场是数据库厂家非常重视的市场,中国有庞大的人口基数,改革开放以来,社会和经济持续发展,数据库在中国有丰富的使用场景,各数据库厂家均非常重视中国市场的需求。2010 年后,随着国内科技技术和人才的不断发展,以及自身需求的增加、移动互联网的发展,使得国产数据库行业崛起,而这也是所有从业人员共同努力的结果。
周傲英:国外的数据库市场也是从诸侯纷争以后形成的三足鼎立,那么从 Oracle、MySQL、IBM Db2 等已成功的主流数据库来看,它们为什么会成功?我们能否复制他们的成功?
阳振坤:全球市场中最主流的数据库分别是 Oracle、SQL Server、Db2 三大商业数据库和 MySQL、PostgreSQL 两种开源数据库。其中,前三种商业数据库都有很鲜明的特征,它们都是随着数据库萌芽发展期共同成长起来的,也属于大浪淘沙淘出来的。后两种数据库主要创造了一种新的模式——开源。
如果谈及以后数据库如何成功,我认为业务催生创新。
李国良:回顾数据库的历史,最开始获得成功的是 Db2,主要归因于其软硬件结合、稳定性做得非常好。但是后来因为软硬结合带来的高昂成本让不少企业无法负担。此时,Oracle 抓住了小型机市场,掌握企业核心需求所在,由此逐步一统天下。SQL Server 最大的特点是应用,且它依托于 Windows 上,近日看,SQL Server 马上要超过 Oracle 了,主要是因为其拥抱云的转型。
对于开源的 MySQL 和 PostgreSQL,其更是抓住了小众化的场景。随着互联网的发展,当一些企业发现传统数据库无法解决自身的问题时,他们也会开始基于 MySQL、PostgreSQL 开源数据库开发分布式数据库等,这也是当下很多企业的做法。
我认为数据库的发展是与国情的发展相同步,我国在数据库领域做了大量的贡献,也得到了很大的发展,未来也是大有可为的年代,我相信大家一起在技术上尽量去超越。
冯源:Oracle 的成功某种程度上是不可复制的,因为它有时代因素包含其中。不管是甲骨文也好,DB2 也好,我觉得成功的理由都是千篇一律的,不妨去探寻一下那些曾成功而后失败数据库厂商的问题所在,也为这才是千百不同之处。
以 Infomix 为例,当时该款产品发布出来的时候非常流行,甚至份额最高达到过全球第四的位置,但最终却以失败告终了。其中原因或许有很多,但站在财务角度回过头看,其采用的是经销商模式,很多产品是卖给了分销商,但分销商并没有把 Infomix 数据库卖到最终用户的手里,即并没有把触角真正伸到自己用户手中,导致失去了敏感性,也错失了科技发展方向。
其实对我们而言,更有借鉴意义的并非是 Db2、Oracle 如何成功,而是看一些曾经辉煌后却被时代淘汰的企业是如何失败的,他们是否足够敏感?是否保护好了自己的知识产品。
周傲英:数据库掌门人最大感慨是什么?
赵伟:从业几十年到现在,我想用一句话来形容数据库多年的变化——“昔日王谢堂前燕,飞入寻常百姓家”。
企业级数据库软件在上世纪 80 年代问世时相当于信息系统中的奢侈品,彼时巴统等西方国家封锁社会主义国家的联盟不允许向中国出口企业级数据库等高新技术,因此国内金融等行业首先要确保能用上数据库,无法考虑支持国产数据库产业发展。
中国数据库产业发展起来是随着改革开放之后国家整体信息化发展之势,社会各层面的信息化从政务,企业,互联网,移动APP后端都有数据库支撑。现在国家提倡高水平科技自强自立,金融、电信等信息化高端行业已经开始规模化应用国产数据库。
因此数据库发展最大的变化一是数据库应用已经非常普遍;二是中国市场内,正在真正实现中国数据库产品在包括金融,电信等行业都可以真正进去。至于能够占领各行各业多少份额,就看企业本身的能力,是否真正能持续提供高质量产品给客户创造价值。
李飞飞:我想用四字来总结感慨:风起云涌。这四个字有一语双关之意。
为什么这么说?风起云涌在古代文化中形容势态有变化。我觉得在这个时代用风起云涌来描述数据库是最为准确的。数据库处于巨变的时代,正因为有了这些变化,才给了后来中国数据库市场机会。
为什么说一语双关?我认为变化本身有一个新的事物就是云计算。这个赛道为什么变化,就像当年的恐龙之所以灭亡,如果不是因为环境变化,让它们自己灭亡绝不可能。正是因为环境发生了巨变,那么恐龙积累的核心优势反而变成了劣势,新生事物才有可能产生出来。云的出现给了我们这些做数据库超越传统厂商的机会。
另外,我认为数据库不仅仅是应用驱动,而是承上启下的作用。数据库刚好是中间系统,上面对接应用,下面管理硬件系统。除了应用发生变化,我觉得数据库发展历程是个闭环。早期数据库被应用于国防军用中,后来再到底下硬件层是大型机-小型机-行业应用-个人应用这样的方向演进。互联网时代,底层也是从大型机、小型机、单机、服务器、云边端一体、云的协同,上层是个人应用、商业应用,我觉得这是一个数据库发展的脉搏。
这种新的底层设置变化相应给数据库带来了非常重要的变化。个人有个观点云的转变趋势不可阻挡,技术架构+分布式云的能力是当前核心趋势。
周傲英:数字经济新时代,有几大特点,第一数据是重要的生产要素;第二要发展数字技术;第三要建平台,也是数字经济基本特点。以上三大点凸显了数据的重要性,数字技术要发展,那么在中国市场上,数据背后的数据库应该怎么样发展?我们需要什么样的数据库?
陶建辉:我分享一下当前我们正在做的东西。首先中国在做数字化转型,数字化转型的本质是所有的东西都要智能化,实际上也是物联网化,那么由这些机器、传感器产生的大量数据应该怎么处理。其实,在美国早就已经有家公司专门来处理这些数据,虽然中国也有实时数据库公司,但这些实时数据库公司没有办法应对如此大规模的数据。我认为这是一个机会,尤其是对 TDengine 这类创业而言,因为中国数字化转型,大量的公司缺乏传感器和数据库等技术应用,甚至在转型早期都没想过要将这些大量的数据存储起来,现在很多企业有意识地想要存储这些海量数据,这对我们有针对性的数据库厂商而言就是机会。此外,我也认为数据库一定要云化。
李纲:在数据库发展历史中,很长一段时间能够看到,无论是商业数据库,还是开源数据库,对于终端用户而言,使用起来仍有很大的门槛。包括近期腾讯数据库在某股份制银行上线以后,他们 CIO 直接说,“我们之前选你们有很大不安的,但是上线投产以后,发现还是很稳”。因此时下市场中所需的数据库首先有一点就是要打破并降低使用门槛。
第二块是对于广大从业者来说,很多 DBA 需要花费很多精力去掌握各种技能,对此,我们在做数据库产品时也一直在致力于帮助 DBA 如何去将业务和应用更好地结合起来,帮助其了解更前沿的技术解决方案。
赵培:中国市场需要什么样的数据库?其实我认为数据库只有有一个形态,就一定有它的应用场景,一定会是市场需要的。数据库所包含的方向太多,选择什么样的方向其实也看市场价值、国家需要、行业需求,找重点方向去做,这是比较重要的。比如移动支付发展、5G带来的未来机器支付,将对金融机构的交易量产生巨大的影响,如何使用分布式数据库解决未来指数级交易量增长的问题是未来的重要方向。
此外,我认为国内数据库在底层技术能力的掌握,以及把握硬件变革对数据库的影响,这两个方向是非常关键的。
周傲英:中国数据库替代之路在何方?我们不单单要替代,而且要实现转型升级,追随大势,替代过程中创新要如何实现?
阳振坤:我在支付宝、淘宝都曾待过,经历了 IOE 替代过程。2010 年,我们开始做 OceanBase 时,我曾被团队内外的人员问过,为什么不能用开源来做?
我认为,如果我们只是想到做替代也永远只能是个追随者。以前的数据库应用场景是一个酒店、商店,现在要转到为整个淘宝、支付宝,乃至为整个互联网服务时,其实需求已经发生了很大变化。我们在这里面能够有机会做出远远超过以前的数据库的能力,给用户提供更好的服务。
冯源:站在大家的角度来看,我们是一直在做替代。“工程”二字所包含的内容很多,我们更想从微观层面基于替代工程将自己的产品、性能做好。
在多年的替代过程中,我认为最难的点在于生态。过往谈及替代,这意味着我们是后来人,必须要在别人的影子下面活下来,这个影子也就是生态。此前别人高墙筑垒,当你作为后来者冲进去以后,会发现所有的用户、开发商对你的态度都是一样,此时你哪怕连做一行代码迁移都非常困难,这个时候你不得不去考虑一些如何把生态营造起来的问题。
对此,我理解有两类方式。一种是自己营造一个生态,但是这非常难。绝大多数还是希望能够把现有的生态借用起来,如借用开源的生态,通过开源的模式良好地融入其中。另外一种是走兼容路线,因为商业数据库一般都是闭源的,我没有办法用开源方式来建,那我就只能用自己的方式去兼容。
周傲英:正如冯源老师所讲的,替代首先要替代生态,那么,中国国产数据库的健康生态如何建设?
杜胜:传统的集中式数据库厂商和互联网企业做数据库的思路其实有很大的不同。此前我们曾进行过统计,中国的集中式数据库存量至少有 600 万套,面对如此大规模的市场,如果要进行数据库替换最为关键的因素是如何实现低成本的迁移,而不是采用重写应用的高成本迁移路径,这个成本太高,整个社会都难以承受。
分布式交易数据库有价值,但是是在特定的细分领域,在更广泛的市场上集中式关系数据库依然拥有巨大的市场空间,这不是技术决定的,而是用户需求和生态环境决定的。所以我认为,集中式的关系数据库依然是中国未来的正面战场,集中式数据库已经能够满足绝大多数应用场景性能和稳定性的需求,而且应用开发商使用集中式数据库的开发成本低、学习难度低、维护成本低,这是一个非常好的分工模型,应用开发商聚焦业务,数据库厂商提供底层支撑。在全球市场来看,Oracle 所建立的这套体系在依然占据主流,我们未来必将进入全球市场和 Oracle 正面竞争,不可能采用高成本路径。
最后我认为目前我们所有的国产数据库企业,并不具备在全球范围构建一个全新生态的能力,继承现有的生态可能是更快的路径,先借力发展,等实力具备之后再去影响和发展自己的生态。
赵伟:从更高角度去考虑生态的问题,比较快的捷径肯定是采用开源数据库和兼容国外商用数据库的生态。虽然数据库有 SQL 国际标准,但现在数据库实际行业标准是被 Oracle 所垄断的,如 Oracle 的兼容已成为各行业客户测试的必选指标,但是如果我们完全沿用 Oracle 的标准,倘若有朝一日,在国际形势缓和的情况下,我们的数据库产业没有国家政策的保护,那么 Oracle 也很容易将数据库市场占去。
从长远看,想在 10-20 年真正建设中国数据库健康生态,还是必须要有中国自己的数据库标准,包括构建中国知识产权专利联盟,沉淀中国自己的数据库知识产权。
黄东旭:关于生态问题,我稍微补充一点,给大家讲个小故事。
曾经诺基亚在顶峰时,看上去不可撼动,谁都没有想到,一两年之内 iPhone 完全淘汰了它。主要原因是我认为很多人忽略掉产品的指数效应,以自身为例,TiDB 第一个版本在 2017 年 11 月发布,彼时其用户量一只手可以数得过来,但是现在显然不是,这就需要我们不断地去关注产品的指数效应。
另外,现在行业发生天翻地覆的变化,想要构建生态,开源是一种特别快的方式,云则是做数据库最好的机会。我曾反复强调过或许下一代程序员不知道什么是硬件了,有可能只知道云提供的服务接口,因此所有基础软件开发者都要去拥抱云,因为没得选。
最后再做一点补充,有时候我们觉得自己做的数据库非常高大上,总想着指导用户去做一些东西,其实这不对,没有什么东西是完美的。现在中国数据库生态要构建得好,重点不是数据库,而是应用。
周傲英:数据库创新商业模式有哪些?云模式亦或是开源模式?我认为数据库是开源的发起者,如何体现在创新模式上?
李纲:作为一款商业软件,想要真正让用户甘心地购买,首先要在合作模式上进行创新。在这一方面,我们现在也正做联创实验室的模式,这种模式最重要一点是将应用结合到业务场景中。
整体来看,数据的创新商业模式可以从两方面去完善,一种是与客户共同进行定制开发,另一种与应用集成商联合起来,共同将大家所需要的核心系统打造成行业标杆,以此共享架构。
阳振坤:我们得到了很多人鼓励和支持,让我们投入更大的人力、资源在开源和云上,由此一直走下去。
周傲英:上了云以后,数据安不安全,何以解安全之忧?
李飞飞:我们首先要打破“上云不如放在自己手里安全”的误区。以前很多人说把钱放到家里安全,放到人民银行不安全,但过了多年以后,不少人发现存在银行反而更安全,放在家里可能被老鼠吃掉了。事实上,云提供了强大的安全防护能力。从数据库角度来看,我个人认为数据库云化不仅仅是云化部署方式问题,更多是从云化角度去思考整个技术体系构建,将云作为一个底层基础设施,由此结合一些如 TDE 等传统安全能力,把云数据库能力提高到新的高度。与此同时,随着一些新兴计算技术的落地,云数据库也会更加安全。
其次,开源和闭源并没有很大差异化。有人认为 Oracle 比开源数据库领先,我并不赞同此观点。我觉得开源或闭源只是一种选择,不代表先进或不先进。
赵培:我觉得数据库安全七分靠管理三分靠技术。需要考虑公司的规章制度是否能杜绝很多安全风险。客户选择数据库云服务商,需要考虑云服务商的公信力。
周傲英:未来国产数据库的图景是什么?
冯源:就国内而言,我认为现在是处于东风压倒西风的局面下,但是未来我不认为这种趋势会持续下去。另外,国内虽然有很多数据库厂商,随着时间的推移,数据库厂商会从分散逐渐收敛。
陶建辉:我比较看好数据库在中国的发展,其中应用场景颇为重要。与国外相比,国内如制造业等领域都产生了较大的场景,这也是我们的优势所在。
另外,我特别看好中国软件工程师数量相当之高,因为数据库是给软件工程师用的。这么多软件工程师一定需要更好的工具,来解决中国本土海量场景,这也带来了很多机会。
黄东旭:现在我们处于新的时代,展开想,其实我们无须把自己与全球割裂开来看,为什么数据库的未来图景只能是中国图景,而不是全世界最好的数据库公司。也许十几年之后,我们所做的数据库公司只是起点在中国,最终实现全球化,由中国人引领技术发展。
阳振坤:其实数据库本来就不分国界,Oracle 是美国的数据库,但是已经被全世界在用了。以 OceanBase 数据库为例,第一大用户是支付宝,但是第三大用户其实是国外的厂商,因此我们做的数据库无须将自己局限起来,要走出去。
周傲英:数据库要发展,就必须有人会用它,更重要的是有人开发它,那么从产学研教维度来看,如何有效将几者结合起来?
李国良:数据库可以分为两大类,一种是传统的事务型数据库(TP),这种是为国家基础建设而做,不可或缺。第二种是百花齐放类,为创新而做。基于以上两种维度,这对数据库的人才要求非常高。然而现在很多高校没有达到 TP 这类数据库所需的架构师水平的培养,且高校更注重的是教授学生如何用数据库而非如何设计数据库。我认为我们未来培养出来的顶尖架构师一定需要具备大局观,不能局限于某个知识点的学习,这是非常重要的一个方面。
另外,在学校很多时候会有局限,缺乏与场景的交互,因此产学研应该更加密切地去结合,这是我们下一步应该去改进的方面。
赵培:我认为高校老师和院士对自己太过“严苛”。为什么这么说?高校本身就具备综合性,着重于学生能力的培养,而当学生进入企业之后,也会接受更加专业的培养。高校现在的学生其实拥有一定的基础能力、基础知识就可以了。
当然我们也更希望看到未来高校有专业技术上突破,中国大部分企业都属于商业成功引领的技术成功,在此,我们希望未来有更多的高校走出来的通过技术突破和创新筑造成功的企业。
周傲英:数据库时代,我们应该如何抓住机遇?
冯源:抓住客户需求。
赵培:聚焦客户、聚焦需求、聚焦重点行业。
陶建辉:利用中国场景和人才,走向全球。
黄东旭:从开发者做起,从娃娃抓起,从教育开始。
阳振坤:数据库大有作为,欢迎众多程序员加入。
周傲英:数据库是数字经济最重要的基础设施,数据才能赋能,开源开放才是做数据库的最大手段。