GBase 是南大通用数据技术有限公司推出的自主品牌的数据库产品,在国内数据库市场具有较高的品牌知名度。
官方介绍:南大通用大规模分布式并行数据库集群系统,简称:GBase 8a MPP Cluster,它是一款 列式存储,Shared Nothing架构的分布式并行数据库集群,具备高性能、高可用、高扩展等特性,适用于OLAP场景(查询场景),可以为超大规模数据管理提供高性价比的通用计算平台,并广泛用于支撑各类数据仓库系统、 BI 系统和决策支持系统,一般企业级的大数据平台通用架构-lambda架构
GBase系列产品包括:新型分析型数据库GBase 8a、分布式并行数据库集群GBase 8a Cluster、高端事务型数据库GBase 8t、高速内存数据库GBase 8m/AltiBase、可视化商业智能GBaseBI、大型目录服务体系GBase 8d、硬加密安全数据库GBase 8s。
8a | 8a Cluster | 8t | 8m | BI | 8d | 8s |
分析型数据库 | 分布式并行数据库集群 | 高端事务性数据库 | 高速内存数据库 | 可视商业智能 | 大型目录服务体系 | 硬加密安全数据库 |
8a:支撑海量数据快速分析的新型列存储数据库。
8a cluster:基于云计算架构和贡献节点架构的并行数据库集群,支持TB和PB级别结构化数据存储查询和分布式并行扩展。
BI:基于j2ee和soa思想,使用flex技术实现数据分析,能用少量编程实现复杂的业务处理需求。
8d:目录服务系统
1.数据加密
GBase 8s安全数据库采用国家密码管理局审批的密码卡加密,密码支持包括密钥生成、密钥销毁、密钥运算。
2.数据完整性
GBase 8s使用密码卡硬件的杂凑算法实现数据库用户数据完整性保护功能。数据库的数据是以数据页的形式存储在磁盘文件之中,每个数据页都有chksum字段用来保护该数据页的完整性,chksum校验码是通过密码卡杂凑算法生成,数据库在访问数据页时对每个数据页的chksum校验码进行校验,以保护该数据页的完整性。
8s
8m:基于内存存储数据
8t:事务性数据库
ACID特性
不可分割,一致变化,隔离运行,持久写入。
CAP理论:
Consistence一致性 所有节点访问同一份最新的副本
Availability可用性 数据更新有高可用性
容忍网络分区Partition Tolerance 数据不能再时限内达到一致,就是发生了分区
Cassandra:分布式存储结构化数据的数据库,由facebook开发 AP类型
HBase:分布式存储非结构化数据的非关系型数据库,powerset为处理自然语言搜索产生的海量数据而开发 CP类型
Hypertable:C++实现bitable和HBase差不多
GBase 8a MPP Cluster 数据库,南大通用大规模分布式并行数据库集群系统,简称:GBase 8a MPP Cluster,GBase 8a MPP Cluster 和 GBase 8a 列存储数据库是南大通用自主研发的分析型数据库。GBase 8a MPP Cluster 是在 GBase 8a 列存储数据库基础上开发的一款 Shared Nothing 架构的分布式并行数据库集群。
GBase 8a MPP Cluster 采用 Shared Nothing MPP 的联邦架构,灵活部署,采用计算存储节点和管理节点双集群的两级部署结构,无单点故障,扩展性好,管理集群最多支持部署 64 个管理节点;而单个计算存储集群支持部署 300 个以上的数据节点,整套集群可支持部署 1000 个以上数据节点;整套集群可处理 15PB 以上数据,单节点也可以处理 50TB 以上数据,具有联邦构架、大规模并行计算、海量数据压缩、 高效存储结构、智能索引、虚拟集群及镜像、灵活的数据分布、完善的资源管理、在线快速扩展、在线节点替换、高并发、高可用性、高安全性、易维护、 高效加载等技术特征。
GBase 8a MPP Cluster 产品所有组件都具备 Active-Active 多活能力,其中三大核心组件为:分布式管理集群 GCWare、分布式调度集群 GCluster 和分布式存储计算集群 GNode。它们的功能分别为:
两者都是SQL数据库,都遵从SQL语句,语法也差不多。
最大的区别是表结构不同,oracle是传统行列式,小库比较快,大库靠索引提高效率。
gbase是分布式,数据不是按行列来排列而是按区块分布的,所以小库的速度一般般,但是大库比如TB级,效率惊人,数据库越大gbase优势越明显
GBase 8s与Oracle同属高端事务性数据库,具有相同性能、相同成熟、广泛认可的国产化产品,GBase 8s更能满足国家安全自主可控政策要求,功能多于Oracle。
l GBase 8s相比Oracle支持更多的数据库引擎。
Oracle是单事务型引擎,但GBase 8s是多引擎数据库,除了事务型引擎,GBase 8s还拥有时间序列引擎(时间序列),NoSQL引擎(支持处理NoSQL数据和兼容MongoDB),以及空间数据引擎(支持GIS)。
l 在高可用方面的方案较oracle更多。
在功能上,Oracle的异地灾备策略对DDL语句的支持较差,且Oracle直到最新版本中备机才支持读操作,而GBase 8s早已支持备机的读操作。
在商务上,由于Oracle的Data Guard,Golden Gate以及RAC等功能,均非数据库自带功能,需另行付费购买,且搭建过程复杂,管理困难。而GBase 8s的企业版即包含同城热备HDR,异地灾备RSS以及共享存储的集群SDS高可用解决方案,无需另行购买,且搭建过程简单易管理。
l 在网格和可扩展性方面更具有优势。
GBase 8s在节点扩展方面比Oracle优秀,对于节点数没有限制,添加更多的节点不会导致性能下降,更不会有触发BUG的风险。并且,GBase 8s集群可以通过提高硬件配置的方式,来提高主节点的吞吐量,同样可以拥有达到Oracle RAC 集群的双节点写的数据吞吐能力。
l 安全策略符合国家的政策要求。
基于国家倡导的信息安全考虑,GBase 8s的安全加密模块完全由南大通用公司自主开发,完全符合国家的政策要求,而Oracle的加密模块为国际通用,不符合国家的信息安全要求。
此外,南大通用可以提供数据库所有代码供国家审查,而Oracle无法满足此要求。
l 适配的平台有天然优势。
GBase 8s可以支持下面的常用和国产平台
CPU:支持X86、SPARC、POWER、龙芯、飞腾、神威、Open Power。
操作系统:Windows系列,Linux(REDHAT、SUSE、CENTOS、中标麒麟、中科方德、普华、凝思、红旗、一铭),UNIX(HP-UX、AIX、Solaris、SCO),浪潮天梭K1小型机、曙光龙腾服务器等
存储设备:支持SAN和磁盘阵列,EMC、IBM、SUN、Seagate、LSI、HP、浪潮、曙光、宏衫等,支持分布式文件系统(GPFS等)
中间件:Weblogic、Websphere、Tomcat、Jboss、TongWeb(东方通)、Apusic(金蝶)、中创、普元
SQL标准:支持SQL92、SQL99、SQL2003标准。
Oracle仅能支持目前市面上通用的平台,对于大部分国产平台无法适配。
图1 迁移过程示意,数据的迁移过程由两部分组成。
第一部分是迁移数据库的结构,主要包括数据库对象的迁移;
第二部分是将数据迁移到目标数据库中。
其中,真正的数据迁移是在第二部分完成的。对于数据的迁移,通常情况下是要暂停应用程序,这样可以保证迁移前后的数据一致性和完整性。使用常规方法,如果数据量很大的话,则需要较长的应用停机时间窗口。在对时间窗口要求比较小的应用做迁移时,可以使用第三方工具(如CDC)来进行增量数据的迁移,这样可以最大限度的减少停机时间,甚至可以实现Oracle到GBase 8s无缝迁移。