GreenPlum安装详细步骤（CENTOS 6.x）

GreenPlum集群搭建安装步骤
另外参考：
https://gp-docs-cn.github.io/docs/best_practices/sysconfig.html,
https://blog.csdn.net/king13127/article/details/83989704
一，安装说明
1.1环境说明
操作系统:CentOS 6.x 64bit
Greenplum:Greenplum-db-5.10.2-rhel6-x86_64.rpm
1.2集群介绍
使用1个master，2个segment的集群.如下：
196.168.16.154
196.168.16.153
196.168.16.152
其中196.168.16.154为master，其余为segment。
二，安装环境准备
2.1 修改各节点名称
2.1.1 修改主节点hosts
[root@ mpp03 ~]# vi /etc/hosts

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1    localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.16.154 　　  mpp03
192.168.16.154 　　 mpp02
192.168.16.154   　　mpp　

2.1.2 复制到子节点
配置了主节点文件之后复制到其余子节点
scp /etc/hosts mpp:/etc
scp /etc/hosts mpp02:/etc
2.1.3 依次修改各个节点/etc/sysconfig/network文件 （一般不用调整）
[root@ gp-master ~]# vi /etc/sysconfig/network

NETWORKING=yes
HOSTNAME= mpp03   --根据主机名调整

2.2 修改系统内核/etc/sysctl.conf文件
–注意：原有的配置文件可能存在一些内核参数，如果参数有重复的话，数据库初始化的时候有报错。
vi /etc/sysctl.conf

kernel.shmmni = 4096
kernel.shmall = 4000000000
kernel.sem = 250 512000 100 2048
kernel.sysrq = 1
kernel.core_uses_pid = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.msgmni = 2048
net.ipv4.tcp_syncookies = 1
net.ipv4.ip_forward = 0
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_max_syn_backlog = 4096
net.ipv4.conf.default.arp_filter = 1
net.ipv4.ip_local_port_range = 1025 65535
net.core.netdev_max_backlog = 10000
net.core.rmem_max = 2097152
net.core.wmem_max = 2097152

[root@mpp03 ~]# sysctl -p（让配置生效）
2.3 修改进程数/etc/security/limits.d/90-nproc.conf文件
vi /etc/security/limits.d/90-nproc.conf

 *        soft    nproc     131072
root       soft    nproc     unlimited

2.4 修改/etc/selinux/config文件
关闭防火墙： service iptables stop
关闭开机启动防火墙：chkconfig iptables off
查看防火墙状态 service iptables status
或者加入防火墙策略中：

iptables -I INPUT -p tcp --dport 5432 -j ACCEPT---重启

除此之外：
vi /etc/selinux/config

SELINUX=disabled

2.5 复制主节点配置到子节点
依次复制到各个子节点
scp /etc/sysctl.conf mpp:/etc
Scp /etc/security/limits.d/90-nproc.conf mpp:/etc/security/limits.d
scp /etc/selinux/config mpp:/etc/selinux
2.6 创建gpadmin用户（所有节点）

groupadd -g 530 gpadmin
useradd -g 530 -u 530 -m -d /home/gpadmin -s /bin/bash gpadmin
chown -R gpadmin:gpadmin /home/gpadmin
echo "gpadmin" | passwd --stdin gpadmin

三、安装Greenplum DB
3.1 在Master节点上安装Greenplum DB
安装包是rpm格式的执行rpm安装命令：
rpm -ivh greenplum-db-5.10.2-rhel6-x86_64.rpm
默认的安装路径是/usr/local，然后需要修改该路径gpadmin操作权限：

chown -R gpadmin:gpadmin /usr/local

3.2 创建配置集群hostlist文件,打通节点
3.2.1 创建一个hostlist,包含所有节点主机名：
su - gpadmin
mkdir -p /home/gpadmin/conf
vi /home/gpadmin/conf/hostlist

mpp03
mpp02
mpp

3.2.2 创建一个seg_hosts ，包含所有的Segment Host的主机名：
vi /home/gpadmin/conf/seg_hosts
mpp02
mpp
3.2.3 配置ssh免密连接：
[root@ mpp03 ~]# su - gpadmin
[gpadmin@mpp03~]#source /usr/local/greenplum-db/greenplum_path.sh
[gpadmin@mpp03~]# gpssh-exkeys -f /home/gpadmin/conf/hostlist
以下是执行过程，需要在所有节点创建好gpadmin用户和用户组，因为执行过程中需要输入gpadmin的密码

[STEP 1 of 5] create local ID and authorize on local host
  ... /home/gpadmin/.ssh/id_rsa file exists ... key generation skipped
[STEP 2 of 5] keyscan all hosts and update known_hosts file
[STEP 3 of 5] authorize current user on remote hosts
  ... send to mpp
  ... send to mpp02
#提示：这里提示输入各个子节点gpadmin用户密码
[STEP 4 of 5] determine common authentication file content
[STEP 5 of 5] copy authentication files to all remote hosts
  ... finished key exchange with mpp02
  ... finished key exchange with mpp 
[INFO] completed successfully

测试免密连接是否成功：
[root@ mpp03 ~]# ssh mpp #不需要密码即可登录；
或者：
[root@ mpp03 ~]# gpssh -f /home/gpadmin/conf/hostlist

=> pwd
[mpp03] /home/gpadmin
[mpp] /home/gpadmin
[mpp02] /home/gpadmin
=> exit

出现上面结果就是成功了。
3.3在Segment节点上安装Greenplum DB
在各个子节点进行文件夹赋权：
chown -R gpadmin:gpadmin /usr/local
chown -R gpadmin:gpadmin /opt
在主节点打包安装包并复制到各个子节点：
[gpadmin@mdw conf]$ cd /usr/local/
打包：
[gpadmin@mpp03 greenplum]$ tar -cf gp.tar greenplum-db-5.0.0/
[gpadmin@mpp03 ~]$ gpscp -f /home/gpadmin/conf/seg_hosts gp.tar =:/usr/local/
[gpadmin@mpp03 conf]$ source /usr/local/ greenplum-db/greenplum_path.sh
[gpadmin@mpp03 conf]$ gpssh -f /home/gpadmin/conf/seg_hosts #统一处理子节点

=> cd /usr/local
[mpp02]
[  mpp]
=> tar -xf gp.tar
[mpp02]
[  mpp] 
#建立软链接
=> ln -s ./greenplum-db-5.0.0 greenplum-db
[mpp02]
[  mpp]
[ mpp03]
=> ll(可以使用ll查看一下是否已经安装成功)
=>exit(退出)

这样就完成了所有节点的安装。
四、初始化数据库
4.1 创建资源目录
source /usr/local/ greenplum-db/greenplum_path.sh
gpssh -f /home/gpadmin/conf/hostlist #统一处理所有节点
#创建资源目录 /opt/greenplum/data下一系列目录（生产目录个数可根据需求生成）

=> mkdir -p /opt/greenplum/data/master
=> mkdir -p /opt/greenplum/data/primary
=> mkdir -p /opt/greenplum/data/mirror
=> mkdir -p /opt/greenplum/data2/primary
=> mkdir -p /opt/greenplum/data2/mirror

4.2环境变量配置
4.2.1 在主节点进行环境变量配置
vi /home/gpadmin/.bash_profile 在最后添

source /usr/local/greenplum-db/greenplum_path.sh
export MASTER_DATA_DIRECTORY=/opt/greenplum/data/master/gpseg-1
export GPPORT=5432
export PGDATABASE=gp_sydb

4.2.2 然后依次复制到各个子节点:
scp /home/gpadmin/.bash_profile mpp:/home/gpadmin/
4.2.3 让环境变量生效:
source .bash_profile
4.3 NTP 配置
启用master节点上的ntp，并在Segment节点上配置和启用NTP：

echo "server gp-master prefer" >>/etc/ntp.conf
gpssh -f /home/gpadmin/conf/hostlist -v -e 'sudo ntpd'
gpssh -f /home/gpadmin/conf/hostlist -v -e 'sudo /etc/init.d/ntpd start && sudo chkconfig --level 35 ntpd on'

备注：这一步执行比较慢
4.4 初始化前检查连通性
检查节点与节点之间文件读取；
cd /usr/local/greenplum-db/bin
[gpadmin@mpp03 bin]$ gpcheckperf -f /home/gpadmin/conf/hostlist -r N -d /tmp

/usr/local/greenplum-db/./bin/gpcheckperf -f /home/gpadmin/conf/hostlist -r N -d /tmp
-------------------
--  NETPERF TEST
-------------------
====================
==  RESULT
====================
Netperf bisection bandwidth test
mpp03 -> mpp02 = 162.790000
mpp -> mpp03 = 134.330000
mpp02 -> mpp03 = 131.830000
mpp03 -> mpp = 174.820000
Summary:
sum = 603.77 MB/sec
min = 131.83 MB/sec
max = 174.82 MB/sec
avg = 150.94 MB/sec
median = 162.79 MB/sec

[Warning] connection between mpp and mpp03 is no good
[Warning] connection between mpp02 and mpp03 is no good

出现以上内容证明各个节点已经可以连通。
4.5 执行初始化
初始化 Greenplum 配置文件模板都在/usr/local/greenplum-db/docs/cli_help/gpconfigs目录下,gpinitsystem_config是初始化 Greenplum 的模板，此模板中 Mirror Segment的配置都被注释；创建一个副本，对其以下配置进行修改：
cd /usr/local/greenplum-db/docs/cli_help/gpconfigs
cp gpinitsystem_config initgp_config
vi initgp_config
#以下为文本要修改的属性字段配置，配置几次资源目录就是每个子节点有几个实例（推荐4-8个，这里配置了6个，primary与mirror文件夹个数对应）
需要注意的是参数名称原有文件也可能存在，如果重复初始化的时候会报错

declare -a DATA_DIRECTORY=(/opt/greenplum/data/primary /opt/greenplum/data/primary /opt/greenplum/data/primary /opt/greenplum/data2/primary /opt/greenplum/data2/primary /opt/greenplum/data2/primary)
declare -a MIRROR_DATA_DIRECTORY=(/opt/greenplum/data/mirror /opt/greenplum/data/mirror /opt/greenplum/data/mirror /opt/greenplum/data2/mirror /opt/greenplum/data2/mirror /opt/greenplum/data2/mirror)
ARRAY_NAME=”gpadmin”                                        
MASTER_HOSTNAME=mpp03                                   
MASTER_DIRECTORY=/opt/greenplum/data/master                 
MASTER_DATA_DIRECTORY=/opt/greenplum/data/master/gpseg-1    
DATABASE_NAME=gpadmin                                       
MACHINE_LIST_FILE=/home/gpadmin/conf/seg_hosts   

执行初始化:

gpinitsystem -c initgp_config -S

若初始化失败，需要删除/opt下的数据资源目录重新初始化,如图：

这种情况需要删掉mpp节点下gpseg4，然后重新初始化
初始化成功则继续操作：

显示以下内容表示初始化成功：

五、数据库操作
5.1 停止和启动集群
gpstop -M fast
gpstart -a
5.2 登录数据库
[gpadmin@mpp03 gpconfigs]$ psql
psql (8.3.23)
Type “help” for help.
gpadmin-# \l
List of databases
Name | Owner | Encoding | Access privileges
-----------±--------±---------±--------------------
gpadmin | gpadmin | UTF8 |
postgres | gpadmin | UTF8 |
template0 | gpadmin | UTF8 | =c/gpadmin
: gpadmin=CTc/gpadmin
template1 | gpadmin | UTF8 | =c/gpadmin
: gpadmin=CTc/gpadmin
5.3 查看节点信息
[gpadmin@mpp03 gpconfigs]$ gpstate -s