GreenPlum安装原则&部署方案&硬件选型&存储规划
目录
GP安装整体原则 2
平衡： 2
高可用： 2
部署方案： 3
Master和standby master分机部署 3
Primary segment于mirror segment分机部署 3
Segment mirroring方案 3
Group mirroring 3
Spread mirroring 4
Group+spread mirroring 4
同一主机segment个数怎么决定 4
Cpu\core数据 4
查询并发数 4
查询复杂度 4
单机primary segment总数不能过多 4
硬件选型 5
Master节点 5
网卡 5
内存 5
磁盘： 5
CPU 5
经验总结 5
存储规划 6
磁盘可用空间 6
文件系统开销 6
性能因素 6
用户数据空间及临时空间 6
用户数据容量 6
数据库用户数据=原始用户数据*1.4 6
系统数据容量 7
Catalog 7
Write ahead log 7
Database log文件 7
集群配置 7
GP安装整体原则
平衡：
数据库性能受短板限制
在性能、容量、成本上进行平衡
高可用：
软硬件方面进行冗余（备份）
部署方案：
Master和standby master分机部署
Primary segment于mirror segment分机部署
Segment mirroring方案
Group mirroring
4个segment host节点，每个节点上两个segment两个mirror（平衡原则）
Host1 的primary 的mirror在host2上
缺点：如果host1挂掉，host2流量翻倍
Spread mirroring
Host1的primary mirror在host2和host3上
Host1挂掉之后，其余三台任何一个挂掉均不可用
Group+spread mirroring
Pivotal Supported Greenplum必须部署Mirror Segment
同一主机segment个数怎么决定
Cpu\core数据
查询并发数
查询复杂度
高复杂度 高并发数下，降低segment数目
单机primary segment总数不能过多
争抢集群资源，效果不好
硬件选型
Master节点
网卡
2块万兆网卡内部互联
1-2块千兆网卡带外管理及接入客户网络
内存
DDR 64G以上，推荐256
磁盘：
6块 600G\900G 10K RPM SAS盘
采用raid5或者raid10
单独预留hotspare盘
1块raid卡 cache1GB以上 掉电保护（1块raid只能带16块盘）
不存储用户数据，只存储元数据，负载较轻
磁盘数不要过多，否则raid卡和网络会变为短板
CPU
2路8核以上
主频2.5GHZ以上
经验总结
磁盘故障最常见
分析型查询 SAS>SATA
高并发小IO查询：优先SSD或者NVMe
Raid卡一定带CACHE功能
硬件实时监控
预留灾备机器
存储规划
磁盘可用空间
原始磁盘容量：raw_capacity = disk_capacity * number_of_disks
文件系统开销
文件系统格式 （10%）
Raid级别：raid5 10% raid10 50%
Formatted_disk_space = (raw_capacity * 0.9)/2
性能因素
磁盘容量保持70%最佳
Usable_disk_space=formatted_disk_space*0.7
用户数据空间及临时空间
用户数据容量U 临时空间容量u/3
With mirror: usable_disk_space=(2*U)+U/3
Without mirror:usable_disk_space=u+u/3
用户数据容量
数据库用户数据=原始用户数据*1.4
Page开销
每32KB的page需要20字节header开销
Tuple开销
每个heap tuple需要24字节header开销
每个AO tuple需要4字节header开销
Attribute开销
类型有关
Index开销
Btree索引与唯一值数目有关
系统数据容量
Catalog
每个segment约300MB
Write ahead log
WAL分为多个64MB的段文件
段文件数据最多为2checkpoint_segment+1(默认checkpiont_segment=8)
美格尔segment上WAL最多（28+1）*64MB = 1088MB
Database log文件
Log rotation机制
集群配置
系统要求
系统设置
禁用selinux
建议禁用firewall
操作系统参数设置
文件数、用户数等
打通各机器网络
I/O设置
Xfs挂载选项
设置blockdev预读尺寸
设置磁盘IO调度器为deadline
其他设置
数据库管理员账户 gpadmin
系统时钟同步 NTP
集群安装
RPM安装
所有节点上安装RPM
用户创建GPADMIN
用户设置节点间无密码ssh访问
Binary安装
只在master上安装 运行gpseginstall
Gpseinstall负责
集群间拷贝binary
创建gpadmin
设置节点间无密码ssh访问
数据库目录
集群验证
硬件性能验证
Gpcheckperf
网络性能
磁盘IO
内存带宽
集群初始化
配置文件
数据目录
Pg-hba.conf
环境变量
可选组件安装
Procedural language
Pl\java
Pl\python
Pl\R
Pl\perl
Machine learning
Madlib
Geospatial
postgis
gppkg
gp包管理器
集群间安装GP extension及其依赖库
集群间扩容