前言
一直在使用VMware，前段时间接触到Proxmox后，发现Promox简直就是精简版的VMware，单机版的Promox就是精简版的VMware ESXi，而Proxmox Cluster就是精简版的VMware VSAN。
如果从软件授权角度来说，单机使用就不说了，大部份是用于测试或学习，正常来说没有人会去购买授权或订阅相关技术支持。而VMware VSAN则需要包括VMware ESXi,VMware vCenter,VMware VSAN三类授权才能真正合法使用VMware VSAN，当然也可以盗版使用，但是如果企业使用或商用会带来后续许多未知的风险。而Proxmox VE的主旨是"powerful open-source server solutions"，Proxmox是一个开源项目，没有软件使用授权风险。Proxmox有订阅技术支持是需要付费，如果你有强大的技术支持团队，也就没有必要花钱订阅技术支持服务。当然建议企业在大量使用时，建议可以购买一定数量的订阅，一方面可以支持Promox VE的后续发展，另一方面也为企业技术团队提供紧急的，出现未知的的一种保障。
Proxmox VE的订阅费用参考官网URL: https://www.proxmox.com/en/proxmox-ve/pricing,信息如下图：
网络环境拓扑
因为是测试环境，只能使用千兆交换机，所有服务器都放在同一个交换机下的同一VLAN下，当然交换机要支持Trunk，后续正式环境使用时肯定需要用到VLAN tag，要不然所有Proxmox下的虚拟机都在同一VLAN，明显是不安全，不专业的表现。
正式环境建议服务器配置10G光纤网卡用于跑ceph存储，管理等相关应用可以走普通千兆网卡，在正式环境中，所有点都需要考虑到冗余，这就涉及到网络的配置及服务器中的bond配置了，这部份会在测试环境中一步一步讲解。
交换机配置之一：三台服务器的交换机端口配置
interface GigabitEthernet1/0/19
switchport access vlan 90
switchport mode access
!
interface GigabitEthernet1/0/20
switchport access vlan 90
switchport mode access
!
interface GigabitEthernet1/0/21
switchport access vlan 90
switchport mode access
!
交换机配置之二: 用于后续VLAN tag的测试
interface GigabitEthernet1/0/18
switchport mode trunk
!
服务器信息
因为要测试Proxmox Cluster，而且我们要使用Proxmox自带的Ceph分布式存储，所以要使环境正常运行起来必需三台服务器起步，当然能有四，五台服务器起步更为安全和稳定。
如果只有两台服务器做Proxmox Cluster，当一台服务器中断服务时，Cluster的选举无法完成，会导致整个Cluster脑裂，整体的功能都可能出现极不稳定的情况。两台服务器的Proxmox Cluster我是极不推荐的。
我们准备了三台服务器，具体信息如下：
| 服务器型号 | 服务器IP | 硬盘配置 | Raid配置 | 网卡 |
|---|---|---|---|---|
| Dell R610 | 172.20.9.50 | 146G DISK*6 | 前两块RAID1,后四块Raid0 | 四块 |
| Dell R610 | 172.20.9.53 | 146G DISK*6 | 前两块RAID1,后四块Raid0 | 四块 |
| Dell R720 | 172.20.9.54 | 278G DISK4,600G DISK 1 | 全部RAID0 | 四块 |
硬盘规划与设计
两台Dell R610的前两块硬盘做了RAID1，用于Proxmox VE 6.1的安装，这也是我们建议的，Proxmox VE 6.1安装在有容错的磁盘阵列上面，以防一块硬盘出问题，导致整个服务器需要重新安装和配置。
第三台全部RAID-0，因为这里要空一两块硬盘出做做ZFS的Storage空间。用于ZFS磁盘分区配置和使用的测试。特别需要测试一下和本地磁盘，ceph盘的性能对比。
第三台服务器大部份磁盘做RAID-0，则是为了Proxmox VE 6.1自带的分布式存储ceph的配置，使用和测试。
如果企业生产环境使用，因为做分布式存储，建议每台服务器配置几块SSD盘，用于ceph的osd日志盘使用，加快磁盘的写的性能。
此次测试环境设想如下：
| 172.20.9.50(pve) | RAID1做系统，其他RAID0磁盘用于Ceph |
|---|---|
| 172.20.9.53(pve02) | RAID1做系统，其他RAID0磁盘用于Ceph |
| 172.20.9.54(pve03) | 第一个RAID0做系统，一块278G的做ZFS分区，其它磁盘用于Ceph |
网卡规划与设计
每台服务器有四块网卡，我们测试的话，直接用一块网卡就可以把所有应用和场景做好，用于管理，用于心跳检测，用于ceph，所有的所有，就是配置一个IP，使用一块网卡就可以了。
如果你的Proxmox VE 6.1准备使用在正式环境上，那就需要好好规划和设计一下网卡的使用方法。
完美方案：万兆网卡2 做绑定用于ceph，千兆 2做绑定用于管理和监控
将就方案: 千兆 *4做绑定用于ceph，管理和监控
最差方案: 千兆 2做绑定用于ceph，千兆 2做绑定用于管理和监控
生产环境首先必需保证的是冗余，尽可能的避免系统架构的瓶颈的出现，而使用千兆做为存储交换，这就是整个生产系统架构中最最严重的瓶颈。
知识点解析
此次Proxmox VE 6.1的知识点包括了从最初的前期准备工作，从单台Proxmox VE 6.1安装，配置和调试工作到Proxmox Cluster的配置与管理及Promox HA的配置与管理.
Proxmox VE 6.1功能测试方面，包括了常用的Clone,Migrate,Snapshot,Backup。其中replication等未涉及到的特性会在后续再加入。
Proxmox VE 6.1 常见问题解析方面，包括在了测试使用过程中出现的各类奇怪的问题，但在测试或生产过程中又可以涉及的，都一一进行了测试和说明，大家可以参考一下。
现在比较流行思维导图，此次涉及的知识点详见下图