历经近12个小时酣畅淋漓的在线直播,DC 2021分布式数据库开发者大会于1月6日晚上21:00圆满结束。本次大会以“数聚未来”为主题,由中国电子技术标准化研究院指导、CSDN主办、OceanBase承办,木兰开源社区、开源中国、51CTO、思否、极客邦科技、稀土掘金协办。
大会由中国电子技术标准化研究院研究室主任杨丽蕴女士开场致辞,并特别邀请了MySQL之父、MariaDB 创始人 Michael“Monty”Widenius 与 PostgreSQL 全球开发组联合创始人 Bruce Momjian 带来深度的行业解析。同时 OceanBase 创始人阳振坤、CEO杨冰、CTO 杨传辉、巨杉首席架构师 & 研发副总裁陈元熹、PingCAP 公司副总裁刘松,以及腾讯分布式数据库 TDSQL 首席架构师李海翔、华为云数据库首席架构师冯柯等多位重磅嘉宾也都莅临直播间,为开发者们贡献了一场分布式数据库领域的技术“盛宴”。
大会干货之多,嘉宾之丰富可以称得上是 2022 头一份了,为了更好的让读者们了解本次开发者大会的精彩,小编特意从这场大会里精选出8个关键词和大家分享。
分布式-Key Word 1
中国电子技术标准化研究院研究室主任杨丽蕴:我国互联网等新应用场景的快速发展背景下,具有大规模横向扩展能力的分布式数据库随之成长起来,且并不落后于全球的领先产品。分布式、云数据库等新一代数据库类型,没有传统数据库存量市场的旧有包袱,因此近年来在国内如雨后春笋般涌现。在近年国家科技发展之下,分布式数据库在互联网大规模场景下快速发展之后,正走向更广阔的市场,例如金融、通信、政务、物联网等企业级应用场景,都有分布式数据库承担创新业务的身影,并在逐步进入核心系统领域。
客观上,与传统集中式数据库相比,分布式数据库在产品成熟度和技术普及度上还存在差距。所以分布式数据库在快速发展同时,也在不断应对挑战,打磨产品。我相信,在国家科技发展战略下,以及云计算和 AI 智能化深入应用下,我国分布式数据库软件顺应了数字化发展的需求,必将取得快速创新和发展。
PingCAP公司副总裁刘松:分布式数据库就是数据库技术和分布式架构的一个结合。所以新一代的分布式数据库既具有经典数据库有的联机交易和在线分析的能力,同时要具备新一代分布式架构有的高扩展性、自动运维,包括新一代的云原生这种承接能力。
华为云数据库首席架构师冯柯:分布式数据库六大关键技术方向:全球多活高可用、软硬深度协同、企业级混合负载、云原生、数据安全与可信、AI-Native 阐述了华为 GaussDB 的根技术能力打造之路。
OceanBase CTO杨传辉:11年来我们一直是原生分布式数据库的信仰者和开拓者,我认为原生分布式数据库的几个核心特性为:无限扩展,永远在线,在一套引擎同时支持 TP 和 AP 的混合负载,保证强一致性。
OceanBase 原生分布式数据库经历了三次技术迭代,从最早的 NoSQL 系统走向第一代分布式数据库,第二代分布式数据库采用搭积木的方式,在 NoSQL 的基础之上,引入了 SQL 的支持,支持基本的 SQL 功能,但往往都牺牲了单机的性能和成本。目前,追求极致的第三代原生分布式数据库支持完整的企业级功能,并且做到单机性能与集中数据库基本相当。
开源、生态-Key Word 2
PostgreSQL 全球开发组联合创始人 Bruce Momjian:他认为开源对于全球的开发者而言都是一个绝好的机遇,在开源的整体环境下,开发者的作品能够在全球范围内得到认可,其本人能够有机会在国际性会议上发言。谈到分布式数据发展,他认为随着市场成熟与价值的显露,会有越来越多的人将目光投向分布式,而对于从业者而言,更多是要投入到创新与保障整体项目的健康度之上,这样才能做到真正的市场先行。
PingCAP 公司副总裁刘松:分布式数据库开源化这个潮流势不可挡。未来数据库最大的使命就是让各行各业数字化,这也是最大的应用需求。而在这个需求之上的技术演进要靠开源,源源不断的给更多的技术引擎供给。与此同时想要服务企业客户,还需要新一代云基础设施,尤其是跨云的云原生来承载。应用需求+开源+云基础设施这就是一个三角形,移动互联网时代,分布式数据库的架构演进到今天,甚至到未来十年,都可能是在这一个三角形的框架里面继续发展。
华为云数据库首席架构师冯柯:分布式数据库契合当前中国的发展阶段,是由中国的人口红利驱动的流量运用下产生的一种新的数据库形态。分布式数据库就像是高铁,单机就像是轿车。开发分布式尽管复杂,就像我们没办法把高铁做成像轿车那样方便灵活,但二者都是通向同样的智能化目标。
云、开放性-Key Word 3
CSDN 创始人&董事长,极客帮创投创始合伙人蒋涛:我们看到分布式的核心价值之一是可扩展,这点我们原有技术架构难以满足。其次是高可用,现在不管是云上还是在混合云,多地多中心部署已经成为常态。所以这个核心价值的核心是什么呢?在蒋涛眼里,是开放性,这点值得每个分布式数据库开发者长铭于心。
PingCAP 公司副总裁刘松:我们开始进入到分布数据库的下一个时代,从最初的互联网需求到金字塔顶端的数字化需求,是驱动全社会关注分布数据库行业的最大背景之一。现在很多云端数据库不一定满足高并发、高扩展的需求,跨云问题一直悬而未决,但新一代的云原生应用场景对分布式数据库的需求非常强烈,分布式数据库未来最大使命便是促成千行百业完成数字化目标。
一致性-Key Word 4
腾讯分布式数据库 TDSQL 首席架构师李海翔:在演讲中他回溯了数据库体系建立以来对于数据异常的定义与概括,并详细阐述了数据异常与整个事务处理领域关于数据异常、隔离级别与一致性三者之间的关系。TDSQL 的研究团队通过定义冲突关系,构建冲突图,建立图与异常的映射并进一步对数据异常进行分类的方式,成功建立了体系化的研究数据异常的框架,并初步描述了并发访问算法。当数据异常之后,以向环图为例,顶点和边的个数是无穷多个的,这意味着数据异常是有无穷多个的。对于无穷的我们怎么去加以认知呢?所以我们要对数据异常进行分类。对数据异常分类能够概括总结就得到一个表格,这个表格概括了所有的数据异常。然后当我们对所有的数据异常进行了分离之后,我们就可以去定义什么叫做隔离级别,什么叫做一致性了。简单来说,有数据异常即不满足一致性,满足一致性等于无数据异常。
HTAP混合负载-Key Word 5
OceanBase 创始人兼首席科学家阳振坤:OceanBase 创始人兼首席科学家阳振坤认为,分布式数据库是“一个”可水平扩展且一份数据存储既进行交易处理又进行分析处理的数据库。为什么说让数据库既做 OLTP 又做 OLAP 即 HTAP,面临非常大的挑战,就是因为 OLTP 与 OLAP 存在巨大差异,且这种差异始终存在。
阳振坤列举了挑战的4个方面。首先是分布式的事务处理,为什么必须是分布式的?因为分析处理所需的庞大的数据量和计算量,要求整个系统必须是分布式的。其次,事物的优先级分析的大查询需要消耗大量的 CPU 内存和 IO 资源,很可能导致交易的小查询无法得到所需的资源导致等待超时。第三,由于行存对交易事务处理友好,而列存对分析处理友好,HTAP 系统既需要行存又需要列存,也就是行列的混合存储。第四是 HTAP 的性能评估,今天的各种 benchmark 都是单一的性能评估,要么是事物处理,要么是分析处理。但 HTAP 同时需要两者。阳振坤坚信:人类的智慧是无穷的,HTAP 的这些挑战部分已经在克服。在不久的将来,这些挑战都将会被克服。
一体化架构-Key Word 6
OceanBase CTO杨传辉:OceanBase 作为原生分布式数据库的代表,它背后的核心技术便是一体化架构,一方面原生分布式架构能够享受到分布式技术的无限扩展,另一方面对外体现了对传统数据库的完美兼容。通过一体化架构发挥分布式加集中式的双重技术优势,它的底层仍然是一个原生分布式架构,能够充分享受到分布式技术无限扩展,永远在线的技术红利。
在2021年,OceanBase 取得了包括 OLTP 到 HTAP 整体性能、单核性价比、跑批能力、Oracle 平滑迁移、易用性五大核心产品技术突破。同时在本次大会上,杨传辉正式公布了 OceanBase 全新的3.X工具家族—运维监控工具 OCP、开发者工具 ODC 以及迁移同步工具 OMA&OMB,并发布了 OceanBase 社区版3.1.2。
核心首选-Key Word 7
OceanBase CEO 杨冰:在各种数据库类型中,原生分布式数据库以其诸多特性,正引领数据库管理技术发展趋势。据 Gartner 近日发布的报告,以 OceanBase 为代表的原生分布式数据库具备高可用、可扩展、多地域、多部署形态、混合负载、多租户以及透明兼容性等优势,正成为企业核心系统升级的首选。作为企业级原生分布式数据库代表,OceanBase 在过去一年中快速发展。
杨冰在会上透露,2021年 OceanBase 的客户数实现翻倍达到400多家。在金融等核心优势场景,OceanBase 持续深耕,目前全国TOP 200的头部金融机构中,有1/4都将 OceanBase 作为核心系统升级的首选。在区域性的银行、保险、证券及基金公司中,OceanBase 市场占比达到行业第一。除了金融场景,OceanBase 已经深入到各行各业,并在政务、能源和通信等关系国计民生的重要领域得到应用。
据杨冰介绍,来自非金融类客户的营收占比已达到 OceanBase 总营收的35%,且在快速增长中。值得一提的是,随着产品不断迭代,OceanBase 的客户结构也在持续优化,大量中小客户开始青睐原生分布式数据库。目前 OceanBase 有近七成的客户为中小客户。
“OceanBase 的使命是用技术让海量数据管理和使用更简单。我们相信长期主义,坚持‘以产品驱动增长’的业务模式。期待与合作伙伴、客户、行业同仁、开发者一起,在最好的时代,为数据库行业的发展做出贡献,不断创造数据管理技术的未来。”杨冰表示。
客户价值-Key Word 8
MySQL 之父兼 MariaDB 创始人 Michael "Monty" Widenius:他认为庞大的用户群是指引数据库发展方向的重要对象,在创建 Maria DB 之时正是通过对于用户需求的分析,同用户一同去解决问题,才能从容地应对挑战。他表示:分布式数据库能够在不同节点上进行基本计算,所以在处理大量数据以及组计算的时候有很大的优势,但在事务处理方面则会慢一些,所以对于技术而言没有绝对的完美,更多的基于需求的权衡。
巨杉首席架构师 & 研发副总裁陈元熹:我想说分布式数据库实际上是从客户的角度、从应用场景的角度来驱动,那么如何从分布式,包括这种可扩展的存储以及海量并发的算力解决实际客户场景当中遇到的问题,这个是我们分布式发展当中面临的巨大挑战。分布式技术的发展来源于数据,中国有最好的数据市场,但是选择什么样分布式架构,实际上我觉得两个驱动,一个是这个产品本身创始团队的基因,另一个是面向的客户市场来决定的。巨杉数据库从2011年开始做分布式数据库的研发,虽然我们基于原生分布式数据库技术,但是我们在对客户进行能力分析以及产品推介的时候,仍然会根据客户的场景,进行更有效、更高效的介绍。
寥寥数语无法囊括本届分布式数据库大会的全部精彩,但不变的是我们对于“技术”、对于“开发者”的尊重。本次大会基于“开发”,高潮仍落于“开发”。
日新月异的技术背后,是无数的开发者日以继夜的研究奉献。为此,在本次分布式数据库大会上,CSDN 联合极客邦、思否、开源中国、51CTO、掘金、木兰开源社区共同发起了海纳奖评选,选出了分布式技术领域“2021年度海纳奖 | 分布式数据库十佳实践人物”(* 附获奖名单,排名不分先后)。
在恭喜这些默默无闻开发者的同时,我们更希望通过他们背后的故事,为分布式数据库行业发展树立榜样,推动分布式数据库产业的发展。当然本次大会的精彩远不止于此,下午场四个小时的两场技术分论坛以及夜晚的“极客夜宵”同样精彩纷呈(* 敬请关注后续推送)。
科技发展战略之下,数据库等基础软件正逐步站上 IT 产业发展的舞台中央。在本次 DC2021分布式数据库开发者大会上,我们更是见证了被称之为“数据库技术未来”——分布式数据库技术的风采。相信在政产学研四界的共同推动下,数据库技术将迈入崭新篇章。
一岁一会,DC 2021分布式数据库开发者大会圆满结束,期待我们明年以更好的面貌再见!