现在数据库管理系统日新月异,我们非常荣幸请到王宏志教授针对数据库管理系统,进行未来发展趋势分析,以期抛砖引玉。
本文仅代表个人观点,如有偏颇之处,还请海涵~
在今天这个数据为王的时代,数据库管理系统已经成为重要的基础设施之一,其实在20多年前信息化如火如荼进行的时候,就已经如此了,在那个时候,由于目标是将现实世界的实体和关系在信息世界进行有效地表达,这时候出现了关系数据库一统天下的情况。以关系数据库管理系统为主打的Oracle公司和包括了操作系统、程序设计语言、数据库管理系统、游戏整个桌面产品线的微软不分伯仲。尽管很多新型数据库管理系统如XML数据库、对象数据库等被提出,但是这些新型数据管理系统大多限于研究的原型系统,在市场上很难撼动关系数据库管理系统的地位。
随着Web2.0时代和移动互联网时代的到来,特别是大数据时代的来临,事情逐渐有了变化。由于应用负载、数据类型和软硬件平台的多样化,对数据库的要求从”one size fits all”变为”no size fits all”。比较耐人寻味的一点是对关系数据其颠覆作用的”No-SQL”运动和大数据的概念都是在2009年出现的。
在今天,随着数据规模、模态的快速增长以及以数据为中心应用的爆炸增长,数据库管理系统也呈现多元化的趋势,这个多元化呈现在下述几个方面,其中有一些已经被市场所认可,另外有一些还正在探索阶段,从中或多或少能够窥见数据库管理系统的未来。
存储和计算是数据库管理系统对计算系统提出的两种最基本的需求,因而新存储和计算硬件也必然成为新型数据库管理系统的引爆点,当前新的存储硬件如Flash、NVM等和新的计算硬件如GPU、FPGA等都为数据库管理系统带来了新的机会,带来了新的挑战,随着材料、电子等领域的不断发展,相信各种高性能的硬件会不断出现,同样也在高性能的硬件赋能下,会有更高性能的数据库管理系统产生。
当前的数据库应用过程中还存在大量需要人工,包括参数设置、索引和存储结构的选择、备份恢复时机的选择,甚至数据库库管理系统的选择等主要都需要人力的参与,所以有一个非常重要的角色DBA,但是随着数据规模的增加、变化的加速、模式变化的增加等等,人越来越难理解数据全貌和变迁,从而精准完成这一系列的工作也越来越难。随着人工智能的发展,启发数据库人利用人工智能技术替代一部分人工,实现参数自动调优、索引自动推荐、存储结构自动设计,进而实现数据库的自主化。
由于各部门信息化独立建设等原因,同一个机构中的数据变得复杂,而数据处理流程也变得复杂。而即使很小的应用往往涉及到来自于多个数据源的数据和整个数据处理流程,针对这些场景,传统的数据库管理系统和数据仓库演化为数据湖这类的系统,纳入数据集成、质量管理、存储等等功能,成为一个更加通用的数据处理系统。
不同模态甚至于不同应用中同一模态数据的数据管理对存储结构、索引、查询处理等需求截然不同,用同一系统处理不同应用显得有一些削足适履,难以取得极致的高性能,因此一些大厂在今天倾向于开发一套或者多套面向特定应用的专用数据库管理系统,面向应用的特点不断优化性能,当前时序数据库、图数据库、文档数据库、时空数据库等一系列面向单一模态数据的专用的数据库蓬勃发展,即使时序数据库也有面向物联网、面向金融等多个不同应用优化的不同数据库管理系统提出。
在互联网等应用中,数据规模极为巨大,甚至地理分布在多个数据中心,在对这些数据进行查询和分析时,显然将数据集中处理效率低下甚至无法实现,这时候对能管理超大规模、甚至地理分布在各处数据的高可扩展数据库管理系统提出了要求。
和管理更大规模数据的数据库大型化要求相对,同样有对能够链接到应用程序中的嵌入式小型化数据库的要求。这类数据库能够嵌入在进程中执行,不需要单独数据库引擎,系统可定制、规模小,能够满足嵌入式系统需求。
数据库管理系统这个领域是如此的生机勃勃,难以以一篇小文尽述,正是由于数据库管理系统林林总总的新的技术要求,正是这些新的技术要求和数据库管理系统在信息时代的基础作用,吸引着我们数据库人不断耕耘。
哈尔滨工业大学计算机学部教授、博士生导师,英才学院副院长,海量数据计算研究中心主任,数据科学与大数据技术专业负责人,青年龙江学者。研究方向为大数据管理与分析。发表学术论文300余篇,出版学术专著三本,其论文他引3000余次,授权发明专利30项。获得黑龙江省自然科学一等奖和教育部高等学校科技进步一等奖,获黑龙江省青年科技奖、宝钢优秀教师奖、中国优秀数据库工程师等。先后主持国家自然科学基金重点项目等10余个项目。中国计算机学会哈尔滨分部主席、ACM SIGMOD中国秘书长、中国数据库专业委员会常务委员、ACM数据科学学科标准编写组专家。
CnosDB是一款高性能、高易用性的开源分布式时序数据库,现已正式发布及全部开源。
欢迎关注我们的代码仓库,一键三连:https://github.com/cnosdb/cnosdb