Proxmox多机集群部署

一、集群规模

Proxmox 2.x/3.x支持的最大集群规模为16节点，也就是一个集群16台服务器。Proxmox 4.x支持的最大集群规模为32节点，也就是一个集群32台服务器。由于Proxmox集群基于quorum机制，而该机制至少需要3个节点才可以正常运行，所以集群里最少也要有3台服务器。实际部署时，应该根据实际需要确定集群规模。比如您手上有32台服务器，那是部署一个32节点的集群还是部署2个16节点的集群呢？这要根据实际需要来定。一般说，规模大的集群更有利于资源共享使用，但是多个集群能实现有效的资源隔离，提高整体的可靠性。

 

二、NTP时间同步

这是一个很容易被忽视的问题。如果组建多机Proxmox集群，务必要确保所有服务器的时间同步。如果时间不同步，很可能会遇到登录认证失败，虚拟机迁移失败等等各种稀奇古怪的问题。

 

保持时间同步，最方便的方法就是开启Proxmox的NTP客户端，和同一个时间服务器同步。配置方法很简单，就是在/etc/ntp.conf文件中添加一行“server NTP服务器IP地址”，然后执行systemctl restart ntp.service，重启Proxmox上的NTP客户端即可。

 

三、网络规划

由于在建立集群时，会需要把IP、主机名、公私钥等信息写入集群配置文件，所以Proxmox官方强烈建议在安装Proxmox服务器以后，不要再修改vmbr0的IP地址和主机名等配置项，否则可能会导致集群异常。

 

为了保证Proxmox集群的稳定性，避免不必要的折腾，可以考虑在一开始就为Proxmox集群单独规划网络，把所有的vmbr0地址规划为一个独立的192.160.x.x网段内，甚至可以考虑配置专门的交换机用于集群通信，和生产网络彻底物理隔离。即使遇到机房搬迁等，Proxmox集群的网络规划可以保持独立稳定。

 

至于远程管理Proxmox集群，完全可以另外配置专门的网卡和IP地址，和生产网络连接。由于远程管理IP地址不会写进集群配置文件，遇到网络环境变更，修改该地址也不会影响Proxmox集群运行。

 

如果追求更高级别的稳定可靠，可以参考Proxmox官方wiki，为Proxmox配置两套通信网络，任何一套网络挂掉，Proxmox集群都可以正常运行，那样简直就是牛逼闪闪，更加高大上了。

 

四、虚拟交换机选择

Proxmox提供了linux bridge和ovs bridge（open vswitch bridge）两种虚拟交换机。linux bridge的优势在于是linux内核自带，成熟稳定。ovs bridge的优势在于对vlan支持良好，一个虚拟交换机即可支持多个vlan通信，添加新的vlan无须再新增虚拟交换机，并且支持openflow协议。

 

可以把vmbr0设置为linux bridge，用于集群通信。另外为虚拟机创建ovs bridge，以便方便管理。另，在Proxmox 4.2中，好像linux bridge也可以实现一个虚拟交换机同时运行多个vlan，但未亲测，感兴趣的同学可以尝试。另二，前不久linux基金会已经把open vswitch纳入基金会项目，未来open switch还会有更远大的发展空间，所以可以放心使用。

 

五、存储选择

Proxmox支持多种外部共享存储，既包括传统的NFS、iSCSI、FC-SAN，也有新型的server san分布式存储方案Ceph、GlusterFS、Sheepdog。

 

传统的存储方案中，NFS性能较低，不支持多路径，可以考虑用于iso和虚拟机备份存储，但不建议用于虚拟机镜像存储。iSCSI和FC-SAN都是块存储协议，都支持multipath多路径，性能较高，可以用于虚拟机镜像存储，但不适合iso和虚拟机备份存储。

 

相对传统存储解决方案，分布式存储方案发展较快，且成熟度不如传统存储方案，对运维要求也较高，实际生产环境中要根据实际情况选择使用。相对而言，Ceph社区活跃，项目前景较好，性能适中偏下，但软件复杂度较高，对运维能力要求也比较高。GlusterFS架构较为简单，活跃度一般，基本属于redhat一家支持，虽然性能比较呵呵哒，但成熟度较好，部署方便，有redhat支持，项目前景也很不错，对运维要求相对较低，适合保守慎重的同学尝试使用。国内优秀虚拟化软件深信服（songfor）就采用了GlusterFS做为自己的超融合存储解决方案，目测效果很不错。Sheepdog是专为Qemu虚拟机打造的分布式块存储解决方案，一开始雷声很大，目前雨点很小，缺乏商业公司参与支持，社区也好像始终没有发展起来，而且好像还分裂了一次，目前有日本版本和中国版本两个....个人感觉项目前景很不明朗，生产环境中务必慎重使用。