达梦DM8 MPP集群搭建

一、DM MPP集群简介

达梦大规模并行处理 MPP（DM Massively Parallel Processing，缩写 DM MPP）是基于达梦数据库管理系统研发的完全对等无共享式集群组件，支持将多个DM 数据库实例组织为一个并行计算网络，对外提供统一的数据库服务，以极低的成本代价，为客户提供高性能计算。
DM MPP采用的完全对等无共享体系架构，结合了完全无共享体系的优点，不采用增加主控制节点来协调所有并行处理的主从式方法，而是各个节点完全对等，简化了体系的实现，也消除了系统可能存在的主节点瓶颈问题。

DM MPP 系统架构图
DM MPP系统内每个EP只负责自身部分数据的读写，执行计划在所有EP并行执行，能充分利用各EP的计算能力及发挥各EP独立存储的优势。数据只在必要时通过DM的高速邮件MAL系统在EP间传递。

二、MPP搭建

1、实验环境：

虚拟机软件：VirtualBox 6.1
数据库：DM8 64位，安装包名称为dm8_setup_rh7_64_ent_8.1.1.88.iso 
主机操作系统：CentOS Linux release 7.2.1511 (Core)，64位

2、资源规划
配置一个三节点MPP。三个节点都配置两块网卡，一块接入内部网络交换模块，一块接入到外部交换机。三节点实例名分别为EP0、EP1和EP2，相关的IP、端口等规划见下表。

3.配置 dm.ini
EP0实例的dm.ini的以下几个参数修改如下

INSTANCE_NAME = EP0
PORT_NUM = 5236 
MAL_INI = 1 
MPP_INI = 1

EP1实例的dm.ini的以下几个参数修改如下
INSTANCE_NAME = EP1
PORT_NUM = 5237
MAL_INI = 1
MPP_INI = 1

EP2实例的dm.ini的以下几个参数修改如下

INSTANCE_NAME = EP2
PORT_NUM = 5238 
MAL_INI = 1 
MPP_INI = 1

4.配置 dmmal.ini
为3个EP 配置 dmmal.ini如下，配置完全一样：

[MAL_INST1]
MAL_INST_NAME = EP0
MAL_HOST = 10.0.3.106
MAL_PORT = 5269
MAL_INST_HOST = 192.168.56.106
MAL_INST_PORT = 5236

[MAL_INST2]
MAL_INST_NAME = EP1
MAL_HOST = 10.0.3.107
MAL_PORT = 5270
MAL_INST_HOST = 192.168.56.107
MAL_INST_PORT = 5237

[MAL_INST3]
MAL_INST_NAME = EP2
MAL_HOST = 10.0.3.108
MAL_PORT = 5271
MAL_INST_HOST = 192.168.56.108
MAL_INST_PORT = 5238

5.配置 dmmpp.ctl
dmmpp.ctl 是一个二进制文件，用户不能直接配置，需要先配置 dmmpp.ini。
配置 dmmpp.ini 如下：

[SERVICE_NAME1] 
MPP_SEQ_NO = 0 
MPP_INST_NAME = EP0
[SERVICE_NAME2] 
MPP_SEQ_NO = 1 
MPP_INST_NAME = EP1
[SERVICE_NAME3] 
MPP_SEQ_NO = 2
MPP_INST_NAME = EP2

使用 DM 提供的工具 dmctlcvt 将 dmmpp.ini 转换成 dmmpp.ctl

./dmctlcvt type=2 SRC=/dm8/data/DAMENG/dmmpp.ini DEST=/dm8/data/DAMENG/dmmpp.ctl

将生成的dmmpp.ctl 拷贝至其它2个EP，保证MPP系统中所有EP的dmmpp.ctl完全相同。
6、运行MPP
分别启动 EP0、EP1和 EP2数据库实例，MPP系统即能正常运行，用户就可以登录任一EP进行数据库操作。
登录后查看到的各EP节点状态：

登录节点序号：

7.建立分布表
创建一个哈希分布表

CREATE TABLE T1(C1 INT,C2 INT,C3 INT,C4 VARCHAR(10)) DISTRIBUTED BY HASH(C1); 
DECLARE 
i INT; 
BEGIN 
FOR i IN 1..1000 LOOP 
INSERT INTO T1 VALUES (i,i+1,i+2,'adasf'); 
END LOOP; 
END; 
/ 
COMMIT;

查看数据在各节点分布情况：

查看某一节点存储的表中的数据：

8.停止 MPP 系统
需要停止MPP系统的运行时，只需要停止每个EP的DM 实例即可。
若在 DM MPP 系统的运行过程中，某一 EP 发生故障停机，则整个MPP系统将处于不能正常服务的状态。当前所有的用户会话会被系统断开，不能进行全局登录，只能进行本地登 录。