金仓数据库KingbaseES Clusterware配置手册（集群搭建前置操作 ）

搭建集群中各个操作，每个集群节点都需要执行，以root用户操作。

搭建Clusterware集群，需要一些前置操作，本章主要介绍前置操作。前置操作首先是部署包的处理，主要分为集成化安装包和绿色版安装包；其次需要配置ntp，实现各节点时间保持一致；最后需要配置共享磁盘，主要分为iSCSI设备和多点可见虚拟设备。在后续章节中，将会介绍集群的搭建操作，主要分为使用cluster_manager.sh搭建和手工搭建。

目录

3.1. 采用安装包部署 ¶

3.2. 绿色版安装部署 ¶

3.3. 配置ntp时间同步 ¶

3.3.1. 配置ntp时间服务器 ¶

3.3.2. 其他要时间同步的机器 ¶

3.3.3. 验证 ¶

3.4. 配置terminfo ¶

3.5. 采用iSCSI设备作为共享磁盘 ¶

3.5.1. iSCSI设备的配置 ¶

3.5.2. iSCSI设备的初始化 ¶

3.6. 采用多点可见存储设备作为共享磁盘 ¶

3.6.1. 多点可见存储设备的配置 ¶

3.6.2. 多点可见存储设备初始化 ¶

---

3.1. 采用安装包部署 ¶

安装完KingbaseES后，进入安装后的数据库install/script目录：例如/opt/Kingbase/ES/V8/install/script，执行rootDeployClusterware.sh脚本。执行完成后会在/opt目录下自动生成KingbaseHA软件包。

sh rootDeployClusterware.sh

3.2. 绿色版安装部署 ¶

上传绿色版KingbaseHA.tar.gz 到/opt目录下，执行如下命令，解压软件包

cd /opt
tar –zxvf KingbaseHA.tar.gz

3.3. 配置ntp时间同步 ¶

3.3.1. 配置ntp时间服务器 ¶

1 以某个节点为NTP服务器，编辑/etc/ntp.conf

vi /etc/ntp/ntp.conf

加入如下内容，其中192.168.4.1 为子网IP，255.255.255.0 为子网掩码

server 127.127.1.0 prefer           # local clock (LCL)
fudge 127.127.1.0 stratum 10        # LCL is unsynchronized
restrict 192.168.4.1 mask 255.255.255.0

2 启动ntpd服务

/etc/init.d/ntpd start

3 设置开机自启

编辑/etc/rc.d/rc.local

vi /etc/rc.d/rc.local

加入如下内容

/etc/init.d/ntpd start

3.3.2. 其他要时间同步的机器 ¶

1 配置ntp.conf

vi /etc/ntp/ntp.conf

添加如下内容，其中192.168.4.134 为NTP服务器IP地址

server 192.168.4.134 prefer           # local clock (LCL)

fudge 192.168.4.134 stratum 10

2 启动

/etc/init.d/ntpd start

3 设置开机自启

vi /etc/rc.d/rc.local

添加如下内容

/etc/init.d/ntpd start

3.3.3. 验证 ¶

可以在客户机器执行如下命令，查看ntp同步状态，红色字体表示两者时间差：毫秒

ntpq -p
remote refid   st t when poll reach  delay  offset  jitter
==========================================================
*node1 LOCAL(0) 11 u 23   64   377   0.162 258.860  84.327

注意：更改ntp服务器时间，可以看到客户端时间更改，但同步是个比较慢的过程，可以通过重启ntp服务，立马看到时间同步

3.4. 配置terminfo ¶

通过如下命令查看term是否在默认路径(一般为/usr/share/terminfo/x)下

ls -l /usr/share/terminfo/x/${TERM}

如果存在，则无需额外配置。否则需要进行配置，通过如下命令查看term位置

find / -name ${TERM}
/lib/terminfo/x/xterm
/usr/bin/xterm
/usr/share/menu/xterm
/usr/share/doc/xterm
/usr/share/icons/DMZ-White/cursors/xterm
/usr/share/icons/DMZ-Black/cursors/xterm
/usr/share/vte/termcap/xterm

通过如下命令配置term

ln -s /lib/terminfo/x/xterm /usr/share/terminfo/x/xterm

或者执行如下命令配置term

export TERMINFO=/lib/terminfo/

3.5. 采用iSCSI设备作为共享磁盘 ¶

目前针对分库方案，推荐使用n+1个LUN，其中n为要分开的库的数目，还有一个作为投票盘使用。一般要求投票盘的大小不小于100MB。

如果采用一个LUN，那么需要将此LUN分成n+1个分区。但是在某些操作系统（CentOS7.6）下，不支持分区的方式。

3.5.1. iSCSI设备的配置 ¶

以下步骤需要在每个节点依次执行

1 发现

iscsiadm --mode discoverydb --type sendtargets --portal 192.168.4.85 --discover

2 登录

第一步可能发现很多Target，选择管理员分配给我们的Target进行登录

iscsiadm -m node -T iqn.2000-01.com.synology:DiskStation.Target-3.1b9e73bebd
-p 192.168.4.85 -l
iscsiadm -m node -T iqn.2000-01.com.synology:DiskStation.Target-33.1b9e73bebd
-p 192.168.4.85 -l
iscsiadm -m node -T iqn.2000-01.com.synology:DiskStation.Target-34.1b9e73bebd
-p 192.168.4.85 -l

3 设置开机自动登录

iscsiadm -m node -T iqn.2000-01.com.synology:DiskStation.Target-3.1b9e73bebd
-p 192.168.4.85 --op update -n node.startup -v automatic
iscsiadm -m node -T iqn.2000-01.com.synology:DiskStation.Target-33.1b9e73bebd
-p 192.168.4.85 --op update -n node.startup -v automatic
iscsiadm -m node -T iqn.2000-01.com.synology:DiskStation.Target-34.1b9e73bebd
-p 192.168.4.85 --op update -n node.startup -v automatic

4 获取iSCSI设备信息

lsscsi

列出所有设备，在所有设备中找到新增的iSCSI类型的设备，查找相关信息
输出信息如下：

[0:2:3:0] disk DELL PERC H330 Adp 4.30 /dev/sdd
[14:0:0:0] cd/dvd HL-DT-ST DVD+-RW GU90N A3C1 /dev/sr0
[15:0:0:1] disk SYNOLOGY iSCSI Storage 4.0 /dev/data1

udevadm info --query=all --name='/dev/data1'

查看ID_PATH是否为对应的设备，获取对应的ID_SERIAL

5 对共享存储设备设置udev规则

当使用多个iSCSI设备时，不同节点的同一设备名对应的可能是不同的iSCSI设备。为规避上述情况，对iSCSI设备进行udev绑定。其中ID_SERIAL字段，为udevadm info查到的ID_SERIAL。

vi /etc/udev/rules.d/75-persist-iscsi.rules

添加如下内容

KERNEL=="sd*",ENV{ID_SERIAL}=="36001405b6e1f506dda2ad4585d827bdb",
NAME:="qdisk%n",MODE:="0644"
KERNEL=="sd*",ENV{ID_SERIAL}=="36001405e60b600fda465d46a4d8c6fd7",
NAME:="data1%n",MODE:="0644"
KERNEL=="sd*",ENV{ID_SERIAL}=="36001405da2879e6dab34d48dfd88c5d5",
NAME:="data2%n",MODE:="0644".

一般来说，在设置完规则后需要重启机器。

3.5.2. iSCSI设备的初始化 ¶

本节操作只需在一个节点上执行。

用作数据库data目录的iSCSI设备，需要进行格式化。

1 针对iSCSI设备/dev/data1 创建ext4文件系统

mkfs.ext4 /dev/data1

2 针对iSCSI设备/dev/data2 创建ext4文件系统

mkfs.ext4 /dev/data2

3.6. 采用多点可见存储设备作为共享磁盘 ¶

目前，针对分库方案，如果采用非iSCSI方式的多点可见存储设备作为共享磁盘，那么推荐使用n+1个存储设备，其中n是要分开的库。一般来说，一个存储设备对应一个KingbaseES V8.6 的data目录，还有一个作为投票盘使用，一般要求投票盘规格不小于100MB。

如果采用一个存储设备，那么需要将设备分成n+1个分区。在某些操作系统（CentOS7.6）下，不支持采用分区的方式。

该章节的操作只需在一台机器上进行。

3.6.1. 多点可见存储设备的配置 ¶

跨节点使用存储设备，除DAS方式外，还有虚拟机共享虚拟磁盘的方式。

在虚拟机管理平台，新创建硬盘时，请注意使用以下参数

表 3.6.3 建议参数设置  ¶

配置名称	推荐配置内容
类型	厚置备，置零
控制器位置	SCSI控制器1
磁盘模式	独立-持久

然后在集群的其他节点添加这个现有磁盘即可。

3.6.2. 多点可见存储设备初始化 ¶

1 在存储设备/dev/sdc 创建ext4文件系统

mkfs.ext4 /dev/sdc

2 在存储设备/dev/sdd 创建ext4文件系统

mkfs.ext4 /dev/sdd

一般来说，根据经验，在虚拟机上搭建，别的节点要生效，需要重启机器。