随着数据库的发展,出现了很多新的词汇,例如HATP,NewSQL,分布式,云原生等,通过下面对数据库分类的介绍来了解这些概念。
关系型数据库指采用了关系模型来组织数据的数据库。
关系型数据库分为:OLAP、OLTP、HATP(混合事务/分析处理,Hybrid Transactional/Analytical Processing)
目前HTAP大致有两种实现方式:
第一种是主备库物理隔离,主库运行 OLTP 负载,备库运行 OLAP 负载,主备之间通过重做日志进行数据同步。
第二种是采用一体化设计,通过同一套引擎实现混合负载,区分 OLTP 与 OLAP 请求所在资源组,对资源组进行逻辑隔离,例如 Oracle 多租户隔离机制。
HTAP典型产品有 Oracle、SQL Server、Greenplum、TiDB、OceanBase 和 PolarDB 等。
需要注意的是,HTAP的价值在于更加简单通用,对于绝大部分中等规模的客户,数据量不会特别大,只需要一套系统即可,但对于超大型互联网企业,HTAP数据库的分析性能可能不如专用 OLAP 数据库或大数据平台。
分布式架构的经济性、高并发性能等优势,使得OLTP与OLAP融合的HTAP逐步成为主流:
NoSQL(Not Only SQL)仅仅是一个概念,泛指非关系型的数据库,区别于关系数据库,它们不保证关系数据的ACID特性。
键值型、文档型、列存储、图形数据库等。
关系型+非关系型
简单来讲,NewSQL 就是在传统关系型数据库上集成了 NoSQL 强大的可扩展性。
传统的SQL架构设计基因中是没有分布式的,而 NewSQL 生于云时代,天生就是分布式架构。
例如:TiDB等。
分布式数据库
分布式数据库,从名字上可以拆解为:分布式+数据库,是由多个独立实体组成,并且彼此通过网络进行互联的数据库。
云原生数据库
云原生中的"云"表示存在于云中,而不是传统的部署于本地。
"原生"则代表着应用从设计环节便考虑到云环境的因素,为云而设计,在云上运行。
云原生技术对于数据库产品的意义之一,便是它有利于构建和运行可弹性扩展的应用。也就是说,云原生数据库具备更好的弹性扩展能力。
自治数据库
自治数据库是一种采用了机器学习技术,可自动执行数据库调优、保护、备份和更新以及其他传统上由 DBA 执行的常规管理任务的云数据库,与传统数据库不同,它无需人工干预就能执行所有这些以及更多其他任务。
例如:Oracle、GaussDB等。
照片来自1977年在黄山召开第一届数据库学会会议,第二排左七是中国数据库的泰斗萨师煊老师,这一年被认为是中国数据库的起点。
萨师煊老师是中国人民大学经济信息管理系的创建人,是我国数据库学科的奠基人之一,数据库学术活动的积极倡导者和组织者。
通过数据建模、技术架构、需求功能、部署方式、存储介质、商业模式、治理模式 7个维度来看数据库发展。
1978年数据库理论正式传入中国,1982年出现了第一个计算机专业课本“数据库系统概率”课程的教学大纲。
源代码类型分类
根据源代码来源不同,国产数据库可以分为四大类:
Oracle系,MySQL系,Informix系,PostgreSQL系
传统厂商、初创厂商、云厂商、跨界厂商。
学院派、互联网派、创业派、企业派
学院派
国产数据库发展的40年,最初源于国家的引导、支持和扶持,在这一阶段,国产数据库的研发始于高校,直至今日,源自高等院校和科研院所的几大数据库公司仍然是国产数据库的重要参与力量,这几家分别是人大金仓、武汉达梦、神州通用、南大通用。
达梦 华中科技大学,南大通用 南开大学,人大金仓 中国人民大学。
互联网派
随着近年互联网和开源技术的蓬勃发展,互联网企业以高度的热情参与到了数据库的建设中来。不管是自主研发,还是借助开源,互联网解决了自身应用的问题,并且依托云平台,展开了云数据库的应用推广。这其中,阿里巴巴的PolarDB、OceanBase,腾讯的 TDSQL等,都成为了来之能用,用之能稳的核心武器。
创业派
数据库领域生机勃发的另外一支力量是新兴的独立数据库创业企业,由于行业的未来引人瞩目,资本开始青睐这个行业,技术创业者和资本的结合,催生了一系列的新兴数据库企业,这其中包括巨杉、PingCAP、偶数、星环、柏睿、星瑞格、易鲸捷等。这其中的创业核心多数来自于 Oracle、IBM、Intel、HP、EMC等国际企业,正是因为有了这四十年的厚积薄发,才有了今天的朝气蓬勃,遍地花开。
企业派
在独立的数据库企业和互联网企业之外,头部科技企业也参与到了数据库核心技术攻关中,这其中就包括华为、中兴、浪潮等,华为在2019年推出了 GaussDB,中兴推出GoldenDB,而浪潮则是推出了K-DB。深谙企业级服务之道的头部科技企业的介入,让数据库和商业市场运作彻底消除了隔膜,迎来了加速奔跑的时代。
这四大流派各有优势特点:
学院派起步早,积累深,政企客户多;
互联网派自带场景,产品迭代快,成熟度高;
创业派具备国际视野和起点,技术起点高;
企业派深谙企业级客户需求,市场积累深。
国内主流数据库厂商
国内主流互联网厂商
国内初创厂商
数据库人员规模
大鹏之动非一羽之轻,数据库产品作为一种重要的基础软件,从研发到成熟应用是一项高技术、高投入的长期工程。
Oracle、MongoDB、华为等大厂的核心开发团队动辄逾千人规模、投入超过10年。
国产数据库厂商人员分布
员工数量普遍在百人以下。我国数据库企业人员平均人数约为184 人,最高为 1200 人左右规模,最低为 10 人左右规模。
其中 21-50人左右规模企业占比最高,数量 34 个,比例达到 43%,人数在 51-100人左右规模次之,数量为 12 个,占比 15%,101-200 人和 201-300 人规模并列第三,均为 10 个,分别占比 13%,由此可见,我国数据库虽然数量众多,但平均从业人员数量较少,仍在快速发展阶段。
根据墨天轮收录的国产数据库数量来看,数据库产品数量发展特别迅速,最近1年多时间,新增了近100种数据库产品。
墨天轮收录的国产数据库数量
日期 | 国产数据库数量 |
---|---|
2022年3月 | 199 |
2022年2月 | 195 |
2022年1月 | 194 |
2021年12月 | 189 |
2021年11月 | 163 |
2021年10月 | 150 |
2021年9月 | 142 |
2021年8月 | 139 |
2021年7月 | 136 |
2021年6月 | 135 |
2021年3月 | 117 |
2021年2月 | 116 |
2021年1月 | 105 |
2020年9月 | 104 |
DB-ENGINES
通过db-engines可以看到,前十名排名仍然没有变化,Oracle和MySQL分数越来越接近。
DB-Engines Ranking - popularity ranking of database management systems
国产数据库在db-engines上的排名。
墨天轮排名 https://www.modb.pro/dbRank
热度值差距巨大:
前四名分数均有下降,前十名仍然没有变化,通过热度值可以看到,第一名tidb 579.53分,第10名AnalyticDB 198.07分,第二十名UXDB 40.01分。
虽然参与排名的数据库产品有199种之多,但真正在热度上有竞争力的产品并不多, 数据库热度排行上T0梯队和T1、T2、T3等之间的差距巨大,国产数据库行业竞争激烈,个人认为,5-10年后,真正可以继续发展下来的国产数据库产品并不会太多。
当然很多闭源数据库厂商并没有重点关注热度,也没有主动去维护社区,而是将更多精力放到自身产品上,单独只根据热度排名无法完全判断一种数据库产品的真实实力。
TiDB 是 PingCAP 公司设计的开源分布式 HTAP (Hybrid Transactional and Analytical Processing) 数据库,结合了传统的 RDBMS 和 NoSQL 的最佳特性。
TiDB 兼容 MySQL,支持无限的水平扩展,具备强一致性和高可用性。
TiDB 的目标是为 OLTP (Online Transactional Processing) 和 OLAP (Online Analytical Processing) 场景提供一站式的解决方案。
发展历程
体系结构
自动分片
openGauss是一款开源关系型数据库管理系统,采用木兰宽松许可证v2发行。openGauss内核源自PostgreSQL,深度融合华为在数据库领域多年的经验,结合企业级场景需求,持续构建竞争力特性。同时openGauss也是一个开源的数据库平台,鼓励社区贡献、合作。
openGauss主要商业发行版
OceanBase是一个支持海量数据的高性能分布式数据库系统,实现了数千亿条记录、数百TB数据上的跨行跨表事务,由淘宝核心系统研发、运维、DBA、广告、应用研发等部门共同完成。
发展历程
应用场景和特点
体系结构
其前身是华中科技大学数据库与多媒体研究所,总部位于武汉。
达梦数据库发展历史
体系结构
以GaussDB 100为例。
GaussDB 100发展历程
GaussDB 100是一款全透明分布式数据库,支持x86和Kunpeng硬件架构,基于创新性数据库内核,提供高并发事务实时处理能力、两地三中心金融级高可用能力和分布式高扩展能力,用于支撑金融、政府、电信等行业核心关键系统。
产品特点
架构
同步机制
PolarDB是阿里巴巴自主研发的下一代关系型分布式云原生数据库,目前兼容三种数据库引擎:MySQL、PostgreSQL、高度兼容Oracle语法。计算能力最高可扩展至1000核以上,存储容量最高可达 100T。经过阿里巴巴双十一活动的最佳实践,让用户既享受到开源的灵活性与价格,又享受到商业数据库的高性能和安全性。
天津南大通用数据技术股份有限公司(以下简称南大通用)成立于2004年,近7年连续被赛迪顾问评为国产数据库龙头企业,并在2021年成功入选首批国家级重点专精特新“小巨人”企业。
GBase系列基于Informix不断创新发展,从OLAP到OLTP,关系型->NoSQL->NewSQL,逐渐扩大生态,提高市占率。
南大通用深耕金融行业,自主研发国内首个基于列存的新型分析型数据库GBase 8a;2014年与IBM签署战略合作,获得Informix的源代码和技术授权,站在巨人的肩膀上研发复杂事务处理数据库产品GBASE 8s,而后又融合分布式架构研发8c,提高系统可用性。
TDSQL发展历程
系统架构简图
应用场景和特点
北京人大金仓信息技术股份有限公司(以下简称人大金仓),由中国人民大学的数据库专家于1999年发起创立,先后承担了国家“863”、“核高基”等重大专项,是中国电子科技集团有限公司(CETC)的成员企业,在党政军及各级企业级市场应用广泛,目前已覆盖全国近3000个县市,完成装机部署近100万套,入围工信部“2021年数字技术融合创新应用典型解决方案”。
人大金仓聚焦关系型数据库领域深耕,分别针对OLTP、OLAP、HTAP场景研发Kingbase ES(KES)、Kingbase AnalyticsDB(KADB)、KSone系列数据库。
结合信创改革浪潮,人大金仓积极适配国产上下游芯片、操作系统、中间件等,与生态伙伴完成近万个产品兼容互认证,力图为用户持续提供稳定服务。
AnalyticDB是阿里云自主研发的云原生数据仓库,采用存储计算分离+多副本架构,支持最大5000节点规模的弹性扩容,对复杂SQL查询速度比传统的关系型数据库快10倍以上。
不同于复杂、高门槛的大数据体系,AnalyticDB高度兼容MySQL、PostgreSQL,Oracle应用迁移成本低,可对万亿级别的数据进行实时的多维度分析透视,极大地提升了企业挖掘数据价值效率。
对标产品是Apache Kylin,Apache Druid,Clickhouse等OLAP产品。
架构图
老当益壮,宁移白首之心。穷且益坚,不坠青云之志。虽生如蝼蚁,当立鸿鹄之志,命如纸薄,却应有不屈之心,乾坤未定你我皆是黑马!纵是人生一场梦,也要他黄粱一刻,锦绣安详。
原文链接:https://www.modb.pro/db/378753
声明:本文为墨天轮作者 陈举超 原创内容,代表作者观点。如您对上述内容有意见和建议,请在下方评论区指点和交流,或点击作者墨天轮主页留言。*
相关阅读
墨天轮,围绕数据人的学习成长提供一站式的全面服务,打造集新闻资讯、在线问答、活动直播、在线课程、文档阅览、资源下载、知识分享及在线运维为一体的统一平台,持续促进数据领域的知识传播和技术创新。
关注官方公众号: 墨天轮、 墨天轮平台、墨天轮成长营、数据库国产化 、数据库资讯