Proxmox VE7.3+Ceph超融合私有云建设案例（低成本高价值，拿走不谢）

本文最终实现目标

Proxmox VE = 虚拟化+分布式存储，能够通过Ceph FS和Ceph RBD实现虚拟机5秒迁移。虚拟机磁盘一律通过RBD网络提供，物理服务器本地不保存任何磁盘卷。这样的好处是磁盘多备份，并且一旦虚拟机卡死，能在5秒内在另一台物理机甚至另一个地域启动相同虚拟机。而通过网络提供磁盘卷，则需要服务器网口是万兆的，内网网速要够快。
由于PVE无法创建子网，即类似阿里云VPC的功能。并且PVE实现Cloud-init比较困难（需要命令导入qcow文件），所以需要在PVE超融合的基础上运行Openstack。PVE为Openstack提供了多备份和稳定的运行环境，Openstack为PVE提供了浮动ip、高级网络功能、cloud-init、实例规格、中间件等一堆额外功能。比如阿里云的RDS数据库和SLB负载均衡等中间件，就可以通过Openstack的Trove组件和Octavia组件实现。难道你自己会手动在PVE里一台一台创建VM然后手动配置负载均衡吗。超融合很好，但远远不够方便。
为什么不直接把Openstack部署在物理机上？因为交付速度太慢了。如果公司做活动，临时采购了1千台服务器，部署在物理机上的Openstack如何快速扩容？另外直接部署在物理机上的Openstack，底层的linux容灾能力、稳定性、弹性都不及PVE虚拟机，毕竟RBD至少是双备份的。
最后我想说，直接使用PVE创建的VM，和使用VM中的浮动ip绑定的Openstack server性能几乎没有差别。稍微折腾一下下，你能获得更多。
华为云是如何快速上线的？他们是基于Openstack+CentOS进一步定制出一种新的iso镜像，形成Fusion Cloud系统镜像，Fusion Cloud云系统兼顾了超融合和云原生特性，将装Openstack变成了装系统，新购服务器设置好4个网络平面就能投入生产，从而实现新购服务器快速上线。可惜Openstack没有官方的iso系统镜像。
私有云的思路是，先将计算、网络、存储融合成一个资源池，再在资源池上搭建云原生。所以目前做公有云和私有云的架构是不一样的。我们希望Openstack社区能努努力，做到公私同源！

图中的Kube Operator有很多替代品，如rancher、sealos、kubesphere、kubespray、kubeclipper等

材料准备

1. 企业级路由器一台，本文使用的是H3C G3200，带机量150台。各位读者可以使用华为的。
2. 三层交换机一台，带Vlanif功能就行。本文使用的是华为S5735S-L48T4S-A1，带图形化管理界面，带console口，无eth口。本文的交换机买的不太合理，网口是千兆的，应该买万兆交换机的，不过也能用。
3. 服务器n台（n>=3），本文使用华为RH1288V3服务器4台，1U的刀片机。每台组件为：CPU E5-2680v3两颗，2.5寸SSD 300GB 8块，内存16GB 2166Mhz 12条，板载显卡一张，600w电源两个，iBMC芯片+UEFI芯片，网卡为Intel SM233 10GE*2双口万兆 ，raid卡LSI SAS2208。
4. 笔记本一台，用于配置集群，需要笔记本带网口并能接受wifi。
5. IDC六类网线准备30根，以防不够。
6. VGA显示器一台。
7. 公网ip两个。每个上行带宽30M，下行500M。
   获取公网ip的方式有两种，第一种是把设备托管给专门的IDC机房，从机房里买两个公网ip。第二种是中国电信买大宽带2个，每个上行30M，下载500M，3000元一年。购买宽带后如果没有动态公网ip，打电话找运营商要，要是运营商不给，凉凉。如果自己有公司，可以向中国电信购买BGP专线公网ip，但是很贵，本文是低成本私有云，不考虑。

路由器设置

机房静态公网ip设置WAN口

如果公网ip为机房购买的静态ip，则配置静态WAN口即可，配置简单。

1. 设置双WAN口模式，其他都设置成LAN口。
   
2. 配置静态WAN口IP。注意WAN口1和2都要设置。