下载安装ProxmoxVE（集群模式）并删除订阅通知

下载地址（推荐BitTorrent下载）：https://www.proxmox.com/en/downloads

设计思路：

3个以上物理节点的集群环境，组成HA：
1、网络方面需要内部集群管理网络，业务网络，ceph存储网络，3个网络，需要强调的是，内部集群网路需要独立出来，因为集群网络对延时的要求很苛刻，具体详见官方文档。如果有条件，每个网络都做bond。bond类型的选择，集群管理网络直接使用active-backup，其他的最好使用LACP（802.3ad）链路聚合，但是这种方式需要在交换机侧做配置，两个交换机之间也要做级联，链路聚合的好处是一稳定，二带宽不浪费，三高可用 。
2、存储方面，除了系统盘之外，每台物理机使用2块硬盘贡献出来作为ceph存储池使用，1块硬盘作为本地lvm存储并挂载给镜像和备份目录使用，这样可以比较灵活，需要实现HA功能虚拟机可以放在ceph存储池，lvm存储池主要存放模板镜像文件，也可以给其他虚拟机使用，lvm存储池的虚拟机在相应速度上理论上要比ceph的要高，这里具体不阐述。ceph存储池使用3mon，3副本。
3、CPU和内存方面根据实际需求确定。

1、环境准备

因为实验服务器配置有限，故配置两块硬盘两张网卡。
剩下2台测试虚拟机，安装前直接克隆，分别为pve-2，pve-3。
接下来分别启动pve-1，pve-2，pve-3 进行proxmox VE的安装，如下图：

安装步骤都很简单，傻瓜式的，其中选择硬盘会默认第一块硬盘安装系统，然后是设置root密码等等，网络配置步骤：

这里hostname要求写成FQDN格式，我试了直接使用pve，不行，最后是使用pve.itca.cc。

安装完毕，点击reboot重启。

打开浏览器通过上图显示的网址进行管理服务器。

使用安装的时候设置的密码进行登陆

登陆进去控制面板

2、网络配置

先将第二块网卡的网络配上，系统安装过程中配置了第一块网卡作为内部管理集群网络，网段是172.10.20.0/24 ，登陆系统后可以发现这个地址是配置在网桥上的，网桥上搭一块网卡进行桥接，因此新建一个网桥并配置192.168.30.0/24网段的地址给它，搭另一块网卡进行桥接。
注意第一块网卡设置了网关，这块网卡就不能设置网关了。这个比较好理解，其实就是在主机上设置了默认网关，只能有一个。
增加完网桥之后，需要重启pve节点生效配置。（网络更改都需要重启节点才能生效。）所有节点配置一遍。

3、创建本地存储

安装的时候安装程序会默认在安装盘上建立一个vg，名称是pve，在这个vg上建立swap/root/data三个lv ，其中root这个lv上挂载/根目录。 安装完成之后直接默认有两个存储ID，一个是local，对应的是目录型存储，挂载目录是/var/lib/vz ，一个是local-lvm，挂载的是data这个lv，这个lv的类型是lvm-thin ，lvm-thin这种类型很适合虚拟机使用，具体如何创建后面再介绍。另外，pve的各种存储类型主要有目录型/lvm/lvm-thin/zfs/nfs/ceph等等，具体可以参考官网的admin文档。
我当初的设计是需要将最后一块32G的盘/dev/sdb作为目录/var/lib/vz的挂载盘，这个目录下面存放镜像文件，备份文件，也可以直接存放本机虚拟机文件和容器文件。这一块工作需要先在后台将sdb这块盘划分了lvm才能给系统使用。因此，首先通过ssh登陆pve服务器，执行：

    pvcreate /dev/sdb   
    ---注意，我这里没有分区，直接使用整块硬盘，使用分区其实也是可以的
    vgcreate vg-sdb /dev/sdb
    lvcreate --thin -L 30G -n lvm-sdb vg-sdb  
      注：不能使用32G，提示空间不够，--thin表示类型是lvm-thin ，如果创建的时候没有加这个参数，可以事后执行lvconvert --type thin-pool vg-sdb/lvm-sdb 命令转化类型，如果是为挂载目录使用，可以不使用thin类型。
    mkfs.ext4 /dev/vg-sdb/lvm-sdb
    更改local存储目录/var/lib/vz的挂载点为/dev/vg-sdb/lvm-sdb :
    mount /dev/vg-sdb/lvm-sdb /var/lib/vz
    在/etc/fstab文件中写入下面这行，使开机自动挂载：
    /dev/vg-sdb/lvm-sdb /var/lib/vz ext4 defaults 1 2

调整pve-1节点的local存储池为共享池（实验得知创建集群后得再设置一次），这样可以只上传镜像到这个存储池，其他节点也可以共享使用，如下图：

上传第一个ISO镜像，直接从本机上传到pve-1的/var/lib/vz/templates/iso/目录中，如下图：

4、创建集群

在其中一台pve服务器的web管理界面上首先创建一个集群

创建完成后点击“加入信息”拷贝信息

登陆其它节点，加入集群，粘帖加入信息。
集群建立完成之后，任何一个pve节点的web管理界面视图都可以管理整个集群，如下图：

---

5、更改软件源【重要】

默认是订阅版，如果不做修改，在使用pveceph init进行ceph初始化安装的时候会将整个环境破坏，切记！

SSH登陆各节点
将/etc/apt/sources.list.d/pve-enterprise.list  文件内的唯一一条记录注释掉：
#deb https://enterprise.proxmox.com/debian/pve stretch pve-enterprise
wget -q -O- 'http://download.proxmox.com/debian/pve/dists/stretch/proxmox-ve-release-5.x.gpg' | apt-key add -
echo "deb http://download.proxmox.com/debian/pve stretch pve-no-subscription" > /etc/apt/sources.list.d/pve-no-subscription.list
apt update && apt dist-upgrade
国内源：
echo "deb https://mirrors.ustc.edu.cn/proxmox/debian/pve stretch pve-no-subscription" > /etc/apt/sources.list.d/pve-no-subscription.list

安装ntp，ceph集群对时间同步的要求很高。需要安装ntp服务： apt-get install ntp -y安装完成之后会自动启动并同步debian的时间服务器，注意，是联网的情况下，如果不连接外网，需要设定内网的ntp服务。

6、删除订阅通知

通过SSH连接到Proxmox机器或通过PVE Web界面使用控制台，输入以下命令，然后清除浏览器缓存：

echo 'sed -i.bak "s/data.status !== 'Active'/false/g" /usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js && systemctl restart pveproxy.service' >> /etc/rc.local && chmod +x /etc/rc.local && sed -i.bak "s/data.status !== 'Active'/false/g" /usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js && systemctl restart pveproxy.service

---

至此整个集群搭建完毕。

---

参考资料：
ProxmoxVE 之集群安装(V5.2)