proxmox VE超融合项目实践

某下载项目，总共使用了两个多机柜的服务器。为什么要那么多服务器？因为数年前，移动公司的idc免费提供机器及带宽，不用白不用嘛！白用好几年后，人家拿到了IDC牌照，开始收费。业务好的时候，不觉得贵，随着访问量大幅减少，业务收入大幅缩水，开始对成本敏感起来。

有了几个成功的proxmox超融合实施及运营经验的积累，有信心对现有的系统做整合：从现有服务器里挑选几台容量大的，做成超融合集群，创建若干虚拟机，并把业务迁移到此集群之上。

这样做的好处显而易见，简单概述如下：
1、大幅度降低成本：从两个机柜降低到3-4台服务器，就算带宽不变，托%管%费及租赁费也会降低好几倍；
2、可用性提高：物理机故障不可用，只要集群本身还可以维持，运行在故障机上的虚拟机会自动漂移到正常运行的物理服务器上，保证业务的持续性；
3、统一管控：用浏览器访问任意集群节点的ip，验证通过以后，都可以对proxmox超融合资源（物理节点、虚拟机、网络、备份等等）进行管理；
4、去中心化：没有固定的控制节点，随便挂掉一些服务器，只要集群本身能维持，业务都不会停止；而其它有中心控制节点的解决方案，控制节点挂掉，会引起很多麻烦；
5、在线扩容：不停机并且很快就可以扩充容量。

由于项目不是密集型访问的业务类型，经过本人初步评估，只要在现有的旧机器上增加内存到64G，先期使用三台物理服务器，就能承载当前的业务量，万一不够，可随时增加节点来进行容量扩充。

一切准备就绪以后，本人亲自前往济南某IDC机房。进入机房，还不许带包，脚上套脚套，没有凳子，干活得站着。

第一天下午开始干活，选用的是proxmox ve 6，安装在寻找dhcp服务器那步卡住，换服务器，也不灵，尝试数次，没成功，放弃，回宾馆。以前安装proxmox ve 5的版本没遇到这个问题，下载好，等第二天早上再去买一个u盘，用PVE 5.4的版本安装。因为着急干活，去一个卖手机的店铺买u盘，8G，要59元，真黑！

第二天再进机房，给服务器的磁盘做成单盘r%a%i%d0（故意试着不做，安装过程中，系统将不能识别），用PVE 5.4 版本做成的u盘引导，无障碍，以分钟为单位完成一台系统的安装，并配好网络，让远端的兄弟用ssh及浏览器访问安装好的系统，反馈能正常访问和登录；继续安装剩下的两台服务器，确认远程访问都正常，余下的更多工作，等离开济南在干，毕竟机房干活无舒适可言。

创建集群、创建去中心化分布式文件系统ceph、暴%￥力关机虚拟机自动漂移…更多精彩情节已经录制成视频（边操作边录制）