001入门级的超融合私有云开源解决方案Proxmox VE之规划部署

Proxmox VE 是什么？
Proxmox VE 是一个完整的企业虚拟化开源平台。借助内置的Web界面，您可以轻松管理VM和容器，软件定义的存储和网络，高可用性集群以及单个解决方案上的多个开箱即用工具。Proxmox VE 最大优势在于安装使用的方便以及web管理界面的丰富，还可以相对比较简单的实现桌面云。
从 Proxmox VE 5.x 版本开始，官方整合了分布式文件系统Ceph，并对其进行了改进。这样，就和OpenStack一样，存储方面集成实现了分布式存储，实现了计算、网络、存储一体化解决方案，即所谓的超融合。
Proxmox的主要特性，去中心化、超融合、高可用、开源低成本、易于实施管理，前面几个特性都和OpenStack一样，但是最后一点易于实施管理，OpenStack却做得不是特别好。
Proxmox的主要劣势，是这个开源产品只有一个厂商维护，叫做Proxmox Server Solutions 公司，但是只要产品足够稳定可靠，不用太多的定制化要求，能够拿来就用就行，只要足够方便好用，而且免费。如果需要更多更好更及时的技术支持，也可以直接购买这家公司的技术支持服务。

为什么要使用 Proxmox VE？

1. Proxmox VE 适用于虚拟机数量在1000台以下的小型虚拟化或者私有云场景下。
2. Proxmox VE 支持各类存储，包括分布式存储 Ceph 和 Zfs，能够像 OpenStack 一样轻松的实现超融合。
3. 在使用分布式存储的情况下可以很方便低成本的实现虚拟机的 HA 以及自动动态迁移。
4. Proxmox VE 适用于中小企业固定工位的办公桌面云，轻松实现并管理使用。
5. 对于中小企业来说，只需要采购硬件设备即可，软件几乎是免费的，这就极大的降低了企业的使用成本。

Proxmox VE 规划设计
网络规划

虚拟机集群网络拓扑图
网络方面需要管理网络，集群网络，存储网络，3个网络，需要强调的是，集群网路需要独立出来，因为集群网络对延时的要求很苛刻。如果有条件，每个网络都做bond。bond类型的选择，集群网络直接使用active-backup，其他的最好使用LACP（802.3ad）链路聚合，但是这种方式需要在交换机侧做配置，两个交换机之间也要做级联，链路聚合的好处是一稳定，二带宽不浪费，三高可用 。
存储规划
存储方面，除了系统盘之外，每台物理机使用2块硬盘贡献出来作为Ceph存储池使用，1块硬盘作为本地LVM存储并挂载给镜像和备份目录使用，这样可以比较灵活，需要实现HA功能虚拟机可以放在Ceph存储池，LVM存储池主要存放模板镜像文件，也可以给其他虚拟机使用，LVM存储池的虚拟机在相应速度上理论上要比Ceph的要高。Ceph存储池使用3 mon，3副本。
硬件规划
3台物理机，每台物理机需要5个物理万兆网口，4块3TB硬盘，内存至少8 GB，推荐128 GB，CPU 核数至少4核，推荐24核。
4台交换机，4台万兆交换机为主，两两互备。

Proxmox VE 部署
模拟环境
宿主机系统版本：Windows 10 Professional
虚拟机软件版本：VMware Workstation 15
Proxmox VE 版本：Proxmox-VE 5.3.2
模拟硬件
第一台虚拟 PVE（为表述方便，以下“Proxmox VE”均用“PVE”代替），具体硬件配置如下：
CPU：4核
内存：6 GB
硬盘：4 块，其中硬盘方面1块硬盘为系统盘31G，2块30G的Ceph盘，1块32G的LVM盘。
网卡：2 块，1块网卡同时给集群和虚拟机使用（192.168.17.0/24网段），1块网卡作为ceph存储网络（192.168.3.0/24网段）使用。

PVE 部署

部署完毕，WEB 界面：
https://192.168.17.3:8006/
https://sanyuan.com:8006/

PVE 网络配置
系统安装过程中配置了第一块网卡作为内部管理集群网络，网段是192.168.17.0/24 ，登陆系统后可以发现这个地址是配置在网桥上的，网桥上搭一块网卡进行桥接，因此新建一个网桥并配置192.168.3.0/24网段的地址给它，搭另一块网卡进行桥接，如下图：

注意：
第一块网卡设置了网关是192.168.17.2，这块网卡就不能设置网关了 。其实就是在主机上设置了默认网关，只能有一个。
增加完网桥之后，需要重启PVE节点生效配置。（网络更改都需要重启节点才能生效。）

PVE 取消订阅及更新源
更改为非订阅版，如下：
将/etc/apt/sources.list.d/pve-enterprise.list 文件内的唯一一条记录注释掉：
#deb https://enterprise.proxmox.com/debian/pve stretch pve-enterprise
wget -q -O- 'http://download.proxmox.com/debian/pve/dists/stretch/proxmox-ve-release-5.x.gpg' | apt-key add -
echo "deb http://download.proxmox.com/debian/pve stretch pve-no-subscription" > /etc/apt/sources.list.d/pve-no-subscription.list
apt update && apt dist-upgrade

消除“No valid subscription”提示的方法：
即，ssh登录服务器后执行下面的指令：
sed -i.bak "s/data.status !== 'Active'/false/g" /usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js && systemctl restart pveproxy.service