二、GP安装笔记-系统环境配置

一、配置主机ip映射

• 修改/etc/hostname配置文件，为每台服务器添加对应的主机名
  ip地址|主机名
  –|--
  10.100.203.140|kylin-203-140
  10.100.203.117|kylin-203-117
  10.100.203.122|kylin-203-122
  10.100.203.130|kylin-203-130

• 使用hostname在每台服务器修改主机名，而不需要重启服务器进行生效

• 修改/etc/hosts配置文件，添加如下内容，保存退出：

10.100.203.117 kylin-203-117
10.100.203.122 kylin-203-122
10.100.203.130 kylin-203-130 
10.100.203.140 kylin-203-140

二、添加用户组

为集群每台服务器添加gpadmin用户

groupadd -g 530 gpadmin
useradd -g 530 -u 530 -m -d /home/gpadmin -s /bin/bash gpadmin
chown -R gpadmin:gpadmin /home/gpadmin
echo "gpadmin" | passwd --stdin gpadmin

三、修改系统内核

为集群每一台服务器修改内核参数，该参数的的配置可以参考$PGHOME/etc/gpcheck.cnf检查文件下所有以sysctl.开头的配置项拷贝，去掉sysctl.，添加到/etc/sysctl.conf配置文件末尾，保存退出。

#开启路由转发方式 0表示关闭，1表示开启
net.ipv4.ip_forward = 1
#控制系统是否开启数据包源地址校验 
#0：不开启，
#1：开启严格的反向路径校验。对每个进来的数据包，校验其反向路径是否是最佳路径。如果反向路径不是最佳路径，则直接丢弃该数据包。减少ddos攻击，防止ip spoofing
#2：开启松散的反向路径校验。对每个进来的数据包，校验其源地址是否可达，即反向路径是否能通（通过任意网口），如果反向路径不同，则直接丢弃该数据包。
net.ipv4.conf.default.rp_filter = 1
net.ipv4.conf.all.arp_filter = 1 
#禁用所有IP源路由
net.ipv4.conf.default.accept_source_route = 0 
#使用sysrq组合键是了解系统目前运行情况，为安全起见设为0关闭
kernel.sysrq = 1 
#控制core文件的文件名是否添加pid作为扩展
kernel.core_uses_pid = 1 
#开启SYN Cookies，当出现SYN等待队列溢出时，启用cookies来处理
net.ipv4.tcp_syncookies = 1 
#每个消息队列的大小（单位：字节）限制
kernel.msgmnb = 65536 
#整个系统最大消息队列数量限制
kernel.msgmax = 65536
kernel.msgmni = 2048  
#单个共享内存段的大小（单位：字节）限制，计算公式64G*1024*1024*1024(字节)
kernel.shmmax = 500000000 
kernel.shmmni = 4096
#所有内存大小（单位：页，1页 = 4Kb），计算公式16G*1024*1024*1024/4KB(页)
kernel.shmall = 4294967296 
kernel.sem = 250 512000 100 2048
#timewait的数量，默认是180000
net.ipv4.tcp_max_tw_buckets = 262144
#开启有选择的应答
net.ipv4.tcp_sack = 1 
#支持更大的TCP窗口. 如果TCP窗口最大超过65535(64K), 必须设置该数值为1
net.ipv4.tcp_window_scaling = 1 
#TCP读buffer
net.ipv4.tcp_rmem = 4096 87380 4194304 
#TCP写buffer 
net.ipv4.tcp_wmem = 4096 16384 4194304  
#为TCP socket预留用于发送缓冲的内存默认值（单位：字节）
net.core.wmem_default = 8388608 
#为TCP socket预留用于接收缓冲的内存默认值（单位：字节）  
net.core.rmem_default = 8388608 
#为TCP socket预留用于接收缓冲的内存最大值（单位：字节）
net.core.rmem_max = 16777216 
#为TCP socket预留用于发送缓冲的内存最大值（单位：字节）
net.core.wmem_max = 16777216 
#每个网络接口接收数据包的速率比内核处理这些包的速率快时，允许送到队列的数据包的最大数目
net.core.netdev_max_backlog = 262144 
#系统中最多有多少个TCP套接字不被关联到任何一个用户文件句柄上。这个限制仅仅是为了防止简单的DoS攻击，不能过分依靠它或者人为地减小这个值，更应该增加这个值(如果增加了内存之后)
net.ipv4.tcp_max_orphans = 3276800 
#记录的那些尚未收到客户端确认信息的连接请求的最大值。对于有128M内存的系统而言，缺省值是1024，小内存的系统则是128
net.ipv4.tcp_max_syn_backlog = 262144 
#时间戳可以避免序列号的卷绕。一个1Gbps的链路肯定会遇到以前用过的序列号。时间戳能够让内核接受这种“异常”的数据包。关掉设置为0
net.ipv4.tcp_timestamps = 1
#为了打开对端的连接，内核需要发送一个SYN并附带一个回应前面一个SYN的ACK。也就是所谓三次握手中的第二次握手。这个设置决定了内核放弃连接之前发送SYN+ACK包的数量
net.ipv4.tcp_synack_retries = 1 
#在内核放弃建立连接之前发送SYN包的数量
net.ipv4.tcp_syn_retries = 1 
#开启TCP连接中time_wait sockets的快速回收
net.ipv4.tcp_tw_recycle = 1 
#开启TCP连接复用功能，允许将time_wait sockets重新用于新的TCP连接（主要针对time_wait连接）
net.ipv4.tcp_tw_reuse = 1 
#1st低于此值,TCP没有内存压力,2nd进入内存压力阶段,3rdTCP拒绝分配socket(单位：内存页)
net.ipv4.tcp_mem = 94500000 915000000 927000000 
#如果套接字由本端要求关闭，这个参数决定了它保持在FIN-WAIT-2状态的时间。对端可以出错并永远不关闭连接，甚至意外当机。缺省值是60 秒。2.2 内核的通常值是180秒，你可以按这个设置，但要记住的是，即使你的机器是一个轻载的WEB服务器，也有因为大量的死套接字而内存溢出的风险，FIN- WAIT-2的危险性比FIN-WAIT-1要小，因为它最多只能吃掉1.5K内存，但是它们的生存期长些。 
net.ipv4.tcp_fin_timeout = 1 
#表示当keepalive起用的时候，TCP发送keepalive消息的频度（单位：秒）
net.ipv4.tcp_keepalive_time = 1200 
#对外连接端口范围
net.ipv4.ip_local_port_range =20000 65535  
net.ipv4.ip_local_reserved_ports = 31313
net.ipv6.conf.all.disable_ipv6 = 1
net.netfilter.nf_conntrack_max = 6553600
net.netfilter.nf_conntrack_tcp_timeout_established = 120
vm.swappiness = 0
kernel.pid_max = 4194304
fs.nr_open = 10000000
#表示文件句柄的最大数量
fs.file-max = 11000000
vm.overcommit_memory = 1

执行如下命令，使配置生效

sysctl -p

四、修改文件打开限制

在/etc/security/limits.conf配置文件中添加如下内容：

* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072

五、关闭防火墙

systemctl stop firewalld
systemctl disable firewalld

六、关闭SELINUX

修改配置文件/etc/selinux/cofig，配置内容如下即可

SELINUX=disabled
SELINUXTYPE=targeted

七、设置linux调度规则

Centos6的IO默认调度算法为CFQ，更改为deadline。修改/boot/grub/menu.lst 文件，添加如下内容，保存退出。Centos7的IO默认调度算法为deadline，不需要修改。

elevator=deadline

我们可以使用如下指令进行查看系统使用的io调度算法：

[gpadmin@kylin-203-140 ~]$ dmesg | grep -i scheduler
[ 1.860661] io scheduler noop registered
[ 1.862014] io scheduler deadline registered (default)
[ 1.863579] io scheduler cfq registered

八、关闭大页功能

• 方法一

# vi /etc/rc.local #追加，禁用大页
if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
  echo never > /sys/kernel/mm/transparent_hugepage/enabled
fi
if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
  echo never > /sys/kernel/mm/transparent_hugepage/defrag
fi

• 方法二：

sudo grubby --update-kernel=ALL --args="transparent_hugepage=never"

修改后需要重新启动系统

• 查看修改结果

cat /sys/kernel/mm/*transparent_hugepage/enabled

[gpadmin@GP-079-003 ~]$ cat /sys/kernel/mm/*transparent_hugepage/enabled
always madvise [never]
如果在never则表示关闭大页功能