GBase 8a MPP Cluster学习——初识

一、GBase 8a MPP Cluster 产品介绍：

1、GBase 8a MPP Cluster（简称“8a集群”）：

是南大通用公司自主研发、国内领先的大规模分布式并行处理数据库集群系统，具有满足各个数据密集型行业日益增大的数据分析、数据挖掘、数据备份和即席查询等需求的能力。在金融、电信、政务、国防、企事业等领域已经得到大规模应用。已在人民银行、银监会、农总行、中行、中移动、海关总署等数百家用户形成规模化应用，目前部署节点总数超过25000个，管理数据超过200PB。他是为管理超大规模数据量而设计的通用计算平台，具备高性能、高可用、高扩展特性，广泛应用于各类企事业单位的数据仓库系统、BI系统和决策支持系统。

2、GBase 8a MPP Cluster 的核心技术（6个）：

• 1）数据存储：列式存储技术；压缩存储技术、智能索引技术
• 2）并行计算：多线程并行；多节点并行
• 3）集群高可用：管理节点高可用；计算节点高可用
• 4）数据集成：数据集成方案；数据加载功能；数据导出功能
• 5）集群扩展：在线扩容/缩容；VC管理；线性动态扩展
• 6）安全管理：数据脱敏；透明加密；监控工具

3、GBase 8a MPP Cluster 数据库架构演进：

1）列存储数据GBase 8a（单机）→ GBase 8a MPP 集群 → GBase 8a MPP 超大规模集群

2）虚拟集群物理架构：

虚拟集群目标：
▷ 统一Coordinator Cluster：实现跨业务关联访问和操作。包括跨业务数据访问和用户权限管理。
▷ VC（Virtual Cluster）：实现单个业务的独立管理，包括数据管理，用户管理和集群版本管理。
▷ Free Nodes（闲置节点）：实现多个业务之间的资源共享及合理调配。

3）虚拟集群逻辑架构：

▷ 统一接口层：JDBC,ODBC,.Net,CAPI
▷GCluster：负责SQL的解析、优化，分布式执行计划生成、执行调度。
▷GCWare：用于各节点GCluster实例件共享信息，以及控制多副本操作中，控制各节点数据一致性状态。
▷GNode：是GCluster中最基本的存储和计算单元，GNode 负责集群数据在节点上的实际存储，并从GCluster 接收和执行经分解的SQL执行计划，执行结果返回给GCluster。

4）虚拟集群网络架构：

▷按功能分为两个网络：

• 数据网络（集群内部网络）
• 业务网络（集群外部网络）
  两个网络之间屋里隔离。
• 每个Coordinator 节点需要配置业务网络IP和数据网络IP，其中分配的数据网络IP必须属于同一IP网段；
• 数据集群中的每个 data 节点只接入数据网络，数据网络可跨IP网段